32 条语料、20 道题:我算完 Agentic RAG 的账,决定不加这个循环

0 阅读9分钟

32 条语料、20 道题:我算完 Agentic RAG 的账,决定不加这个循环

这不是一篇"我用 Agentic RAG 做了 XX"的文章。恰恰相反,我花了两天评估要不要给现有 RAG 加 Agent 循环,最后的结论是不加。下面是我算账的过程,以及我认为这笔账在什么条件下会翻过来。

一、先说我现在的 RAG 长什么样

项目是一个非遗知识库问答(岭南非遗方向),链路很传统:

  • 检索侧的关键参数就这一处(CommonConfiguration.java):

    @Bean  
    public ContentRetriever contentRetriever() {  
        return EmbeddingStoreContentRetriever.builder()  
                .embeddingModel(embeddingModel)  
                .embeddingStore(redisEmbeddingStore)  
                .maxResults(3)  
                .minScore(0.6)  
                .build();  
    }
    
  • 向量库是 Redis Stack 的 HNSW 索引,1024 维,COSINE。语料 32 条,都是独立条目的非遗介绍。

  • 实测数据(本机单机、直连千问网关、顺序单并发):

指标数值
标注问题召回@520/20 = 100%
top-1 相似度均值0.755(区间 0.650 ~ 0.850)
高于采纳阈值 0.620/20,降级率 0%
高于高置信阈值 0.851/20 = 5%
对照题误召回0/4(对照题 top-1 均值 0.353)
KNN 检索耗时均值 0.9 ms,p95 1.4 ms
embedding 网关往返约 1.0 s
端到端 TTFT(120 次 SSE)p50 5.8 s / p95 15.0 s

看到这组数字,第一反应应该是:召回都 100% 了,还优化什么?

但第二个反应更重要:这个 100% 说明不了什么,相反有很大问题

二、漂亮的 100%,我把它的水分挤掉

100% 召回听起来很好,但它有个前提:测试问题是从知识库条目改写来的。

比如语料里有一条「潮州木雕以金漆木雕和通雕著称,蟹篓常用樟木」,我的测试题是「潮州木雕有什么特点」「潮州木雕的蟹篓一般用什么木材」。

这种题,向量检索几乎不可能错——因为问法和原文的语义距离太近了。

这有个名字叫测试集污染。它比"样本只有 20 条"严重得多:

  • 样本小,只是分辨率不够(20 条里错 1 条就是 95%,区分不出好坏)
  • 测试集污染,是测的东西不对(测的是"近义改写能不能召回",而不是"用户真实提问能不能召回")

真实的用户不会说"蟹篓一般用什么木材",他会问"那个装螃蟹的篮子是什么做的"。

所以我的 100% 只能证明一件事:近义改写场景下,向量召回是够的。它不能证明口语问法、精确年限、跨条目比较多跳问题也能召回。

这个认知改变了我后面所有的判断。如果评测集不先修,后面任何优化都无法度量。

三、原本我是想上 Agentic RAG 的

动机有三个,都很实在:

  1. 多跳问题:有些问题要两次检索才能答,比如"潮州木雕最有名的那位传承人,他还擅长别的什么工艺"——第一步查人,第二步用人名查工艺
  2. 证据不足时补搜:检索结果相关度低,应该换个关键词再查一次,而不是硬答
  3. 自我纠错:答案没有引用支撑时,回退重查

这三件事,传统 RAG 的固定流水线都做不到。Agentic RAG 的核心就是让模型自己决定"要不要查、查什么、够不够"。

看起来很合理。但算完账我发现,这三件事在我这儿都不成立。

四、五个约束,条条否决

约束 1:语料关联稀疏,第二跳没有落点

Agentic 的价值在多跳,多跳的前提是实体之间有丰富关联。

  • 我的 32 条语料是独立介绍,工艺 A 的条目里不会提到工艺 B。这意味着:即使 Agent 完成了第一跳,它也找不到可查的第二跳目标。
  • 多跳能力要有用,语料必须先有图结构(人物 → 工艺 → 流派 → 作品)。这不是加个循环能解决的,是数据建模问题。

约束 2:延迟预算已经耗尽

这是最硬的一条。

  • 我的端到端 TTFT p50 是 5.8 秒,p95 是 15 秒,瓶颈在模型网关排队(同题重复发送 5 次,TTFT 极差平均 4.2 秒,最大 15.5 秒——这个抖动全部来自网关,跟应用代码无关)。

  • 而一次 Agentic 循环 = 至少多 1 次 LLM 调用(决定下一步)+ 1 次工具调用。按我的实测,每多一轮大概再涨 5-15 秒。

**用户等 6 秒已经很难受了,加到 20 秒基本等于不可用。**

约束 3:成本没有兜底

多轮循环意味着中间结果全部回灌上下文,token 消耗翻 2-3 倍。

目前个人项目付费方承担这部分成本太高。而准确率提升带来的收益,在这个场景里也很难量化——用户问"粤绣有几种针法",答得不准和答得准,对他来说差异没那么大。

"答错的代价"低,就不值得为准确率付高成本。

约束 4:错误会沿链条累积,而且用户看不出来

这条是我认为最容易被忽略的。

传统 RAG 出错,大概率是"检索错了"。用户看到答案答非所问,能感觉出来;开发者查日志,能定位到"召回的内容不对"。

Agentic 出错,是第一跳错了,后面全错。而且每一步看起来都很合理——模型确实在按逻辑走,只是起点偏了。用户看到的是一个语气自信、逻辑通顺、但事实错误的答案。

"自信的错误"比"坦诚的无知"危害更大。 而我现在没有任何手段判断中间结果对不对。

约束 5:可观测性只覆盖单轮

当前日志分析脚本只解析单轮请求:进了什么、召回了什么、生成了什么。

加循环之后,失败模式会变成:循环不收敛、工具调用参数错、中间结果被误判为"够了" 。这些问题的排查难度是另一个量级,而我暂时没有对应的日志设计。

而我后续服务建设的重点会放在性能与质量监控上——恰恰是这类多阶段流程最需要、也最难覆盖的部分。

做出来但管不住的东西,不如不做。

五、什么条件下这笔账会翻过来

反过来定义成立条件,四条,缺一条就不成立:

1.多跳题占比 > 30%

低于这个比例,收益盖不住成本。我估算自己的多跳题只有个位数百分比(大部分是"XX 是什么""XX 有什么区别",一次检索能拿到全部证据)。

2.延迟不敏感

离线报告生成、批量文档分析、后台任务——这类场景等 30 秒无所谓。实时对话不行。

3.答错的代价远高于等待

法务条款比对、医疗建议、财务对账,这些场景答错要赔钱,用户愿意等。

4.有能力验证中间结果

这条是分水岭,也是最容易被跳过的。

很多人以为 Agentic = 加一个 while True 循环,其实核心不是循环,是每一步都要能判断"该不该继续" 。如果没有这个能力,循环只会放大错误,不会收敛。

具体来说,你需要一个 grade_evidence() 之类的函数:给定问题和检索到的证据,输出 0~1 的相关性分数,低于阈值就触发补搜。这个函数本身要么靠模型调用(贵),要么靠规则(不准)。

没有它,Agentic 就是一个会自我说服的幻觉放大器。

六、不上的话,准确率怎么提

按性价比排序:

优先级手段解决哪类失败成本
0修评测集:去污染、加口语/多跳样本不修这个,下面全是盲改3-4 小时
1精确检索分支(TAG / 全文)精确年限、人名、工艺别名半天
2top-K 3→5,配合阈值调优多证据类(结构、流程)10 分钟 + 重测
3评估现有 query 改写是否有效口语问法0(只是测)
4Rerank(cross-encoder)排序质量1-2 天
5Agentic 循环真多跳1 周+

关于第 1 项:为什么不是"加全文检索"而是"加 TAG"

我一开始想照搬 BM25 + 向量的混合检索。但我的语料是中文,关键词是「嵌瓷」「雷州石狗」「连南瑶族耍歌堂」这类专有名词——中文分词会把它们切碎,BM25 反而失真。

所以更合适的做法是用 Tag 字段做精确匹配:@craft:{潮州木雕}。不需要分词,命中率高,实现成本比引入全文检索引擎低得多。

这是"照搬方案"和"结合场景"的区别。

关于第 3 项:那个可能白花的 1 秒

我的链路里已经有"大模型改写问题、提取实体"这一步,它在检索前跑,每次大概 1 秒。

问题是:它到底有没有用?

验证方法很简单:同一批题,开改写跑一遍、关改写跑一遍,对比召回率。如果没差异,这一步就是纯延迟开销,砍掉能省 1 秒——而我全部的 KNN 检索只要 0.9 毫秒。

这件事我还没做,但它可能是整个链路里性价比最高的一个改动:不增功能,只删浪费。

七、我没有做的事

  • 没有做混合检索对比实验:上面说的"精确检索分支有效"是判断,不是实测结论
  • 多跳题占比是估算:没做严格分类标注
  • Agentic 的成本是推算:按"每轮多 1-2 次 LLM 调用"估的,没有真实跑过循环
  • 样本量 20 条:分不出 95% 和 100% 的差别

所以这篇文章的结论只适用于一种情况:语料规模小、单跳问答为主、延迟敏感的实时对话场景。脱离这个前提,结论就不成立。

如果你的场景是多跳占比高、延迟不敏感、答错代价高——那 Agentic RAG 值得做,而且上面列的五条约束你大概只踩了一两条。

参考资料

  • CoALA 论文(Cognitive Architectures for Language Agents)—— 关于 Agent 记忆、规划、动作空间的分层框架
  • ReAct: Synergizing Reasoning and Acting in Language Models
  • 课程《Easy Data × AI》D3 节「Agentic RAG 实战」—— 提供了 RRF 融合、证据评分、评测集分六类的思路;本文的对比视角来自该课程,数据全部来自本项目实测