Verve
人工智能
·10-11 21:37
一周之内,RAG 从"会反思的智能体"长成"**能评测自己、能识别用户、准备做权限隔离**的完整企业级系统" 10.05**Agentic RAG 从零实现**:AgentPlanner / plan_retrieval / observe_context / graph.py / 三道刹车 / 前端 AgentStepsPanel 10-06 Rerank 精排(qwen3-rerank)+ refuse 统一拒答节点 + 图重连(2 循环出口+2 正常出口)+ token.STAR 悬案告破 10-07~08多轮历史改写(normalize_query 用 chat_history 做指代消解)+ AnswerVerifier(LLM-as-judge 答案校验) + LangSmith 可观测(@traceable + trace_id 双通道) 10-09~10RAGAS 评测系统:ragas_runner + 非流式评测入口 + EvaluationService CRUD + 后台执行器 + scoring.py 归因 + 前端轮询/抽屉/人工覆盖 LangGraph 三种边:普通边/条件边/循环边;Agentic RAG 靠"条件边+循环边"实现反思 Graph vs Service 边界:有 I/O(DB/SSE)→ Service;纯逻辑 → Graph **三道刹车** :sufficient / max_rounds / 总开关——循环必须有熔断 rewrite_query 同时清 5 个残留字段,否则检索悄悄用错数据 **AgentPlanner 4 决策**:proceed/rewrite_query/switch_route/refuse + 全失败降级 proceed 工程化 **RAGAS 评测**:4 指标 + asyncio.to_thread 包同步慢函数 + raise_exceptions=False 评测与线上同链路:非流式入口 + 强制空历史(控制变量)——评测测的就是线上行为 Bad Case 归因:决策树:error→other / 拒答对不对 / 引用命中 / RAGAS 哪项低 → 定位到 embedding_recall_miss / rerank_order_error / generation_off_context / prompt_constraint_weak **人工与自动结合**:规则能归因的自动,搞不定的(RRF 融合错误)留人工 PATCH 长任务 = 后台任务+轮询:几分钟的任务 SSE 会超时;BackgroundTasks + 5s 轮询 **LLM-as-judge 降级**:AnswerVerifier 任何失败 → verified=True + reason 留痕
0个评论
点击登录,快来和大家讨论吧~
表情
图片
暂无评论
下载 APP