💡 一句话总结：批量 RAG 有个很少有人正式处理的问题：150 个查询共享一份 token 预算，而「给某个查询上更深检索」的额外成本能差十倍。这篇论文把升级决策做成了资源分配题，结论精确而克制：成本可以预测得很准（R²=0.93），但「升级有没有用」几乎猜不中（AUROC 0.60）。所以在紧预算下，按「收益 ÷ 每 token」排序比按收益排序多救回 7 个升级机会、质量 +0.034、总 token 省 46.6%——而想在整个预算曲面上全面赢，得先把收益预测本身做出来。
导语：被忽略的「批」维度
RAG 系统的检索深度是个钱袋问题：检索 top-1 页，每题约 1091 token；top-5 页，2508 token，准确率从 46.7% 涨到 54.7%。单看一个查询，deep retrieval 的选择不难。但真实业务是批的：一个财报问答服务每天几万个查询，预算是死的——不可能人人上 top-5。
这时候问题就变成了分配：预算该发给谁？ 已有的自适应 RAG（Adaptive-RAG、Self-RAG、FLARE 这些）都在回答「这个查询自己该怎么检索」，而批部署多了一层约束：查询之间在抢同一个钱袋，而且升级的标价因题而异——有的题 top-5 上下文 588 token 就装下，有的要 5498。
这篇论文（Junru Zhu、Yixin Yang、Xiaoqing Ding、Ruoyu Qi）的切入点很会计：把每次可能的升级看作一笔投资——预估回报（质量增益）、预估成本（额外 token），按投资回报率而非回报总额排优先级。听着像废话？实验恰好证明了这不是废话，而且揭示了哪里是真正的瓶颈。
想自己动手试？
- 📄 论文：arXiv 2610.07760
它的思路是什么？
流程两阶段：所有 150 道 FinanceBench 题（84 份真实财报文档）先走便宜的 top-1 检索拿到答案；然后一个决策时预测器（只看便宜路线产生的信号：检索分数、答案置信度、候选 top-5 上下文的统计——不需要先跑昂贵的 top-5）估计两件事：升级的收益（连续的裁决质量差）和升级的成本（额外 token 数）。分配器拿着这两列预测，在共享预算内选人。
三种策略同台：
- gain-only：按预测收益排序，装得下就要；
- gain-per-token：按 max(收益,0)/max(成本,1) 排序——同样的收益，谁便宜谁先上；
- 预测成本 0/1 背包：直接解离散优化。
评测的严谨度是这篇的加分项：判官是路由盲的（看不到答案来自哪条路线）、候选标签三轮置换防位置偏差、收益目标用连续裁决分（因为 150 题里 110 题 top-1 和 top-5 的二值正确性根本没差别——二值标签太稀疏）；交叉验证按源文档分组，bootstrap 也按文档重采样，防止同一份财报的题既当训练又当考题、又防止文档内相关性让置信区间虚窄。
效果到底怎么样？
紧预算下，成本归一化赢了，但赢得精确而有限。 在 10% 预算档（最紧的非零工作点）：gain-per-token 拿到质量 0.524，gain-only 0.490，配对差 +0.034（95% CI [0.001, 0.072]，刚过零但不含）；准确率 46.0%→49.3%；每题 1340 token，比无脑全员 top-5 省 46.6%。背包策略 +0.028 但区间含零——更强的优化器救不了 noisy 的收益预测。
为什么排序方式会改变结果？ 机制拆解是全文最漂亮的一段：两种策略花的总预算几乎一样（相差不到 2.2%），但组成完全不同——gain-per-token 选了 18 个便宜的升级（均值 2077 token），gain-only 选了 11 个贵的（均值 3509）。前者多出 7 个深检索机会，实际 6/18 改善正确性 vs 后者 1/11。一句话：把可预测的成本差异，转化成更多的尝试机会。
然后是标题的后半句：Benefit Is the Bottleneck。 成本预测出奇地好（R²=0.93，平均误差 263 token）——毕竟 top-5 上下文多大在检索后就能数出来。收益预测出奇地差（R²=−0.08，区分「升级有用」的 AUROC 只有 0.60，接近抛硬币）。用真实成本替换预测成本，质量只从 0.517 涨到 0.520；而收益+成本全知 oracle 是 0.584。优化空间几乎全在收益那头。
几个反直觉的细节
- 便宜不是高价值的代理：最贵成本四分位的升级是 13 帮/3 害（准确率 44.7%→71.1%），最便宜四分位是 1 帮/5 害（60.5%→50.0%）。所以「专挑便宜的升级」会系统性踩坑——gain-per-token 的正确用法是保留强收益证据的贵调用，只让「收益不确定且贵」的候选出局。
- 问题类型不能硬路由：领域题升级 +12pp、新题 +14pp，但指标计算题 −2pp——每类里都有帮助和伤害的个案，按类型一刀切会丢掉类内变异。
- 策略差异只在紧预算区存在：10% 预算下两种排序的选择集重叠 Jaccard 只有 0.26；到 75% 重叠 0.94；100% 全员升级。预算越松，成本归一化越没用——50% 档时连简单的检索 margin 规则都反超了学习策略。作者把全部预声明预算档都报了出来，而不是只挑赢的那档，这个自律值得表扬。
泼冷水时间
- 天花板本身就矮：top-5 对 top-1 的总增益只有 8pp 准确率——「升级」这个手段的潜在回报有限，分配再聪明也只是在分一块小蛋糕。
- 规模很小：150 题、26 个有效益升级，收益目标稀疏到连学习器都喂不饱（作者坦承这约束了学习与不确定性估计）。
- 设置被简化：文档身份给定、证据页预筛、单一 TF-IDF 检索器、单一 Nova Micro 生成器——没有文档发现、没有 OCR、没有跨文档检索，跟真实金融问答管线还有距离。
- 质量判官是模型（Nova Lite）不是人；按文档分组缓解了但没消除判官偏差。
理性看待
这篇论文最值得带走的不是那个 +0.034，而是它教的一种审计视角：拿到任何「智能路由/动态分配」系统，先把成本预测和收益预测拆开分别打分。这篇文章里两者一个 0.93 一个 0.60，整个系统的改进路线图就一目了然——成本那侧已经没有肉了，收益那侧（更细的查询特征、更好的校准、甚至在线学习）才是主战场。
对正在搭批处理文档问答服务的团队，还有一个更便宜的教训：如果你的调度器按「预测收益」排序升级，换成「收益/每 token」只要改一行排序键，在预算最紧、机会成本最高的区间，这就是白捡的质量。而在预算宽裕时——别折腾了，那点差异会被预算本身抹平。
（数据与结论均来自论文原文，解读部分为作者观点，欢迎交流。）
