32 条语料、20 道题:我算完 Agentic RAG 的账,决定不加这个循环
这不是一篇"我用 Agentic RAG 做了 XX"的文章。恰恰相反,我花了两天评估要不要给现有 RAG 加 Agent 循环,最后的结论是不加。下面是我算账的过程,以及我认为这笔账在什么条件下会翻过来。
一、先说我现在的 RAG 长什么样
项目是一个非遗知识库问答(岭南非遗方向),链路很传统:
-
检索侧的关键参数就这一处(
CommonConfiguration.java):@Bean public ContentRetriever contentRetriever() { return EmbeddingStoreContentRetriever.builder() .embeddingModel(embeddingModel) .embeddingStore(redisEmbeddingStore) .maxResults(3) .minScore(0.6) .build(); } -
向量库是 Redis Stack 的 HNSW 索引,1024 维,COSINE。语料 32 条,都是独立条目的非遗介绍。
-
实测数据(本机单机、直连千问网关、顺序单并发):
| 指标 | 数值 |
|---|---|
| 标注问题召回@5 | 20/20 = 100% |
| top-1 相似度均值 | 0.755(区间 0.650 ~ 0.850) |
| 高于采纳阈值 0.6 | 20/20,降级率 0% |
| 高于高置信阈值 0.85 | 1/20 = 5% |
| 对照题误召回 | 0/4(对照题 top-1 均值 0.353) |
| KNN 检索耗时 | 均值 0.9 ms,p95 1.4 ms |
| embedding 网关往返 | 约 1.0 s |
| 端到端 TTFT(120 次 SSE) | p50 5.8 s / p95 15.0 s |
看到这组数字,第一反应应该是:召回都 100% 了,还优化什么?
但第二个反应更重要:这个 100% 说明不了什么,相反有很大问题
二、漂亮的 100%,我把它的水分挤掉
100% 召回听起来很好,但它有个前提:测试问题是从知识库条目改写来的。
比如语料里有一条「潮州木雕以金漆木雕和通雕著称,蟹篓常用樟木」,我的测试题是「潮州木雕有什么特点」「潮州木雕的蟹篓一般用什么木材」。
这种题,向量检索几乎不可能错——因为问法和原文的语义距离太近了。
这有个名字叫测试集污染。它比"样本只有 20 条"严重得多:
- 样本小,只是分辨率不够(20 条里错 1 条就是 95%,区分不出好坏)
- 测试集污染,是测的东西不对(测的是"近义改写能不能召回",而不是"用户真实提问能不能召回")
真实的用户不会说"蟹篓一般用什么木材",他会问"那个装螃蟹的篮子是什么做的"。
所以我的 100% 只能证明一件事:近义改写场景下,向量召回是够的。它不能证明口语问法、精确年限、跨条目比较多跳问题也能召回。
这个认知改变了我后面所有的判断。如果评测集不先修,后面任何优化都无法度量。
三、原本我是想上 Agentic RAG 的
动机有三个,都很实在:
- 多跳问题:有些问题要两次检索才能答,比如"潮州木雕最有名的那位传承人,他还擅长别的什么工艺"——第一步查人,第二步用人名查工艺
- 证据不足时补搜:检索结果相关度低,应该换个关键词再查一次,而不是硬答
- 自我纠错:答案没有引用支撑时,回退重查
这三件事,传统 RAG 的固定流水线都做不到。Agentic RAG 的核心就是让模型自己决定"要不要查、查什么、够不够"。
看起来很合理。但算完账我发现,这三件事在我这儿都不成立。
四、五个约束,条条否决
约束 1:语料关联稀疏,第二跳没有落点
Agentic 的价值在多跳,多跳的前提是实体之间有丰富关联。
- 我的 32 条语料是独立介绍,工艺 A 的条目里不会提到工艺 B。这意味着:即使 Agent 完成了第一跳,它也找不到可查的第二跳目标。
- 多跳能力要有用,语料必须先有图结构(人物 → 工艺 → 流派 → 作品)。这不是加个循环能解决的,是数据建模问题。
约束 2:延迟预算已经耗尽
这是最硬的一条。
-
我的端到端 TTFT p50 是 5.8 秒,p95 是 15 秒,瓶颈在模型网关排队(同题重复发送 5 次,TTFT 极差平均 4.2 秒,最大 15.5 秒——这个抖动全部来自网关,跟应用代码无关)。
-
而一次 Agentic 循环 = 至少多 1 次 LLM 调用(决定下一步)+ 1 次工具调用。按我的实测,每多一轮大概再涨 5-15 秒。
**用户等 6 秒已经很难受了,加到 20 秒基本等于不可用。**
约束 3:成本没有兜底
多轮循环意味着中间结果全部回灌上下文,token 消耗翻 2-3 倍。
目前个人项目付费方承担这部分成本太高。而准确率提升带来的收益,在这个场景里也很难量化——用户问"粤绣有几种针法",答得不准和答得准,对他来说差异没那么大。
"答错的代价"低,就不值得为准确率付高成本。
约束 4:错误会沿链条累积,而且用户看不出来
这条是我认为最容易被忽略的。
传统 RAG 出错,大概率是"检索错了"。用户看到答案答非所问,能感觉出来;开发者查日志,能定位到"召回的内容不对"。
Agentic 出错,是第一跳错了,后面全错。而且每一步看起来都很合理——模型确实在按逻辑走,只是起点偏了。用户看到的是一个语气自信、逻辑通顺、但事实错误的答案。
"自信的错误"比"坦诚的无知"危害更大。 而我现在没有任何手段判断中间结果对不对。
约束 5:可观测性只覆盖单轮
当前日志分析脚本只解析单轮请求:进了什么、召回了什么、生成了什么。
加循环之后,失败模式会变成:循环不收敛、工具调用参数错、中间结果被误判为"够了" 。这些问题的排查难度是另一个量级,而我暂时没有对应的日志设计。
而我后续服务建设的重点会放在性能与质量监控上——恰恰是这类多阶段流程最需要、也最难覆盖的部分。
做出来但管不住的东西,不如不做。
五、什么条件下这笔账会翻过来
反过来定义成立条件,四条,缺一条就不成立:
1.多跳题占比 > 30%
低于这个比例,收益盖不住成本。我估算自己的多跳题只有个位数百分比(大部分是"XX 是什么""XX 有什么区别",一次检索能拿到全部证据)。
2.延迟不敏感
离线报告生成、批量文档分析、后台任务——这类场景等 30 秒无所谓。实时对话不行。
3.答错的代价远高于等待
法务条款比对、医疗建议、财务对账,这些场景答错要赔钱,用户愿意等。
4.有能力验证中间结果
这条是分水岭,也是最容易被跳过的。
很多人以为 Agentic = 加一个 while True 循环,其实核心不是循环,是每一步都要能判断"该不该继续" 。如果没有这个能力,循环只会放大错误,不会收敛。
具体来说,你需要一个 grade_evidence() 之类的函数:给定问题和检索到的证据,输出 0~1 的相关性分数,低于阈值就触发补搜。这个函数本身要么靠模型调用(贵),要么靠规则(不准)。
没有它,Agentic 就是一个会自我说服的幻觉放大器。
六、不上的话,准确率怎么提
按性价比排序:
| 优先级 | 手段 | 解决哪类失败 | 成本 |
|---|---|---|---|
| 0 | 修评测集:去污染、加口语/多跳样本 | 不修这个,下面全是盲改 | 3-4 小时 |
| 1 | 精确检索分支(TAG / 全文) | 精确年限、人名、工艺别名 | 半天 |
| 2 | top-K 3→5,配合阈值调优 | 多证据类(结构、流程) | 10 分钟 + 重测 |
| 3 | 评估现有 query 改写是否有效 | 口语问法 | 0(只是测) |
| 4 | Rerank(cross-encoder) | 排序质量 | 1-2 天 |
| 5 | Agentic 循环 | 真多跳 | 1 周+ |
关于第 1 项:为什么不是"加全文检索"而是"加 TAG"
我一开始想照搬 BM25 + 向量的混合检索。但我的语料是中文,关键词是「嵌瓷」「雷州石狗」「连南瑶族耍歌堂」这类专有名词——中文分词会把它们切碎,BM25 反而失真。
所以更合适的做法是用 Tag 字段做精确匹配:@craft:{潮州木雕}。不需要分词,命中率高,实现成本比引入全文检索引擎低得多。
这是"照搬方案"和"结合场景"的区别。
关于第 3 项:那个可能白花的 1 秒
我的链路里已经有"大模型改写问题、提取实体"这一步,它在检索前跑,每次大概 1 秒。
问题是:它到底有没有用?
验证方法很简单:同一批题,开改写跑一遍、关改写跑一遍,对比召回率。如果没差异,这一步就是纯延迟开销,砍掉能省 1 秒——而我全部的 KNN 检索只要 0.9 毫秒。
这件事我还没做,但它可能是整个链路里性价比最高的一个改动:不增功能,只删浪费。
七、我没有做的事
- 没有做混合检索对比实验:上面说的"精确检索分支有效"是判断,不是实测结论
- 多跳题占比是估算:没做严格分类标注
- Agentic 的成本是推算:按"每轮多 1-2 次 LLM 调用"估的,没有真实跑过循环
- 样本量 20 条:分不出 95% 和 100% 的差别
所以这篇文章的结论只适用于一种情况:语料规模小、单跳问答为主、延迟敏感的实时对话场景。脱离这个前提,结论就不成立。
如果你的场景是多跳占比高、延迟不敏感、答错代价高——那 Agentic RAG 值得做,而且上面列的五条约束你大概只踩了一两条。
参考资料
- CoALA 论文(Cognitive Architectures for Language Agents)—— 关于 Agent 记忆、规划、动作空间的分层框架
- ReAct: Synergizing Reasoning and Acting in Language Models
- 课程《Easy Data × AI》D3 节「Agentic RAG 实战」—— 提供了 RRF 融合、证据评分、评测集分六类的思路;本文的对比视角来自该课程,数据全部来自本项目实测