如果你做过文档 RAG 或者长文档问答系统，大概率经历过这样的下午：评测报表上写着 62 分，老板问为什么低，你打开日志翻了十条 bad case——三条是检索压根没找到那一页，四条是页面明明检索到了、模型却把表格里的数抄错了，剩下三条说不清道不明。该怪检索还是怪模型？现有大多数基准只给你一个端到端准确率，这两种病混在同一张化验单上，根本没法对症下药。
Oracle AI 联合 USC、UPenn 的团队显然也被这事折磨过。他们刚挂上 arXiv 的 VELD-QA 基准，干脆把「检索到」和「读进去」当成两笔账分开算：每道题都由人工标出支撑页和证据元素，你想考检索，就只看页面找没找对；想考阅读，就只把正确页面塞给模型，看它还错不错。
这一拆，拆出了不少让人坐不住的数字。
💡 一句话总结：15,000 道全人工撰写的问答、5,859 份真实 PDF、合计 372,445 页——VELD-QA 证明了两件事：就算把人工标注的正确页面直接喂给模型，九个视觉语言模型里最强的 Claude Opus 5.5 也只有 81.7%，近两成的失败跟检索无关，纯粹是读不进去；而检索一旦漏页，模型再强也要掉 35 分上下。检索和阅读，两头都欠账。
一张准确率单，其实混着两种病
先说清楚现有基准为什么不够用。文档问答评测这几年从单页文档图（DocVQA）卷到单张图表（ChartQA），再卷到上百页的长 PDF（MMLongBench-Doc、LongDocURL 这一挂），方向没错，但多数基准有个共同的盲区：只标（甚至不标）「哪一页是答案」，不标页面里具体哪个图表、哪张表格是证据，更不会把证据内容写成文字。
后果就是开头痛的那一幕：模型答错，你看不到病灶位置。是检索器没把那页捞进上下文？还是页面就摆在眼前、模型对着一列数字看了个寂寞？端到端分数一锅炖，优化方向全靠猜。
VELD-QA 的思路很朴素：想要拆账，先得有底账。底账就是逐题的人工证据标注——支撑页是哪几页、页面上哪个元素（图表/表格/正文段落/插图）承载了答案、这个元素里画的是什么。有了它，「检索的账」和「阅读的账」才能各记各的。
🛠️ 这份底账是怎么造出来的
三个数字先立住：15,000 道 QA、5,859 份真实 PDF、372,445 页。题目均衡分成三份，各 5,000 道：Chart QA 考单页上的图表解读，Table QA 考多页文档里的表格推理，Complex Layout 考图文表混排的复杂版面。表格和版面这 10,000 道题覆盖的 3,617 份 PDF 平均 102 页，最长的到 1,798 页——真正的长文档，不是意思意思的十几页。
「全人工」是这份基准最大的卖点，也是它敢号称防污染的底气。具体做在了三处：
- 题目与答案全部由人写：标注团队按任务线分工（图表 19 人、表格 33 人、版面 26 人），配校准练习、全量一级人工复审加抽样二级复审，不合格打回重标；
- 表格逐格人工转录：每份表格文档选 3 张表抄成电子表格并逐项和 PDF 核对，最终攒出 1,392 个工作簿、4,178 张工作表——这是后面「喂表涨分」实验的本钱；
- 证据逐题标注：每道题标出支撑页与证据元素，并附一段对被引视觉内容的白话描述；支撑页中位数只占全文档页数的 1.7%，针尖大的靶子。
防背题也做了功课：不给文档时，所有模型准确率不超过 21.4%，表格题更是只有 1.6%–4.2%，说明没法靠先验知识蒙题；按 PDF 文档级切分训练/开发/测试集，互不重叠；语义重复率只有 2.55%，是 MMLongBench-Doc（29.43%）的零头；任务模式（推理操作×约束×答案形式的组合）多达 2,858 种，是同类基准里最丰富的。
评测设计是本文的灵魂：同一道题，四种给证据的方式轮着来——question only（不给文档，验记忆）、gold pages（直接给人工标注的支撑页，考纯阅读）、top-3 RAG（检索器捞三页，考检索加阅读）、all pages（全文直读，考长上下文）。另外再拉来七个检索增强和代理系统，统一用 GPT-5.4 当答题骨干，比拼真实管线。评分用 LLM 裁判按固定评分表给 2/1/0 分（部分对算半分），再用 GPT-5.5 独立复判了 3,323 条答案，一致性 κ=0.91，算是把裁判的可信度也验了一遍。
那么，账本翻开，都记了什么？
📈 账本一：把正确页面直接给模型，也考不到满分
第一问最扎心：检索完全不出错的天花板下，模型能考多少？
答案是 39.1%（Gemma 3 12B IT）到 81.7%（Claude Opus 5.5）。最强模型面对人工挑好的页面，仍然有近两成的题拿不下来；更有一批 9.2% 的测试题，九个模型没有一个能全对。重灾区是表格：表格题每家模型的上限是 76.0%，而复杂版面题能做到 88.9%——表格理解就是当下多模态模型最短的那块板。
这张图还有一层信息：图表题上三种给页方式几乎一样高，说明单页图表的检索早就不痛了；表格题上落差拉满，且「比较」「分析」类题目全线塌方。换句话说，难点精准地落在「多页证据 + 表格数字推理」这个交叉点上。
📈 账本二：检索到底拖了多少后腿
第二问：从金页换成检索，模型掉多少分？
答案是 2 到 19 分，九个模型无一幸免，Gemini 2.5 Flash 最惨（掉 18.7 分）。检索器自己也确实有软肋：非图表题上，视觉检索器 ColQwen2 的 Recall@3 是 88.3%，ColPali 82.9%，纯文本检索 E5 只有 63.3%；证据一旦跨页，ColPali 从 85.2% 掉到 70.0%；文档越长越掉，101–300 页的文档比 20 页内的掉约 7–9 分。别忘了金页中位数只占全文档的 1.7%——捞不中，基本就输了。
📈 账本三：检索没丢页，模型就稳了吗
第三问是全文最有意思的地方：检索三页里金页一页不少时，模型就该考出金页成绩了吧？
先看论文的总体归因：在提示完全一致的 GPT-5.4 对照实验里，8 分的总差距中有 5.1 分（约 63%）来自检索漏检——检索确实是账单上的大头。但大头归大头，剩下的 37% 加上接下来这组数据，说明阅读端的烂账同样不小，而且不同模型的病根完全不同。
并没有，而且分化的方式非常有戏剧性。
Claude 系和 GPT-6 Astra 的故事很「正常」：检索全命中时只落后金页 1.9–4.2 分，一旦漏页立刻掉 35–39 分——它们输，主要输在找不到。Gemini 系则是另一个剧本：2.5 Flash 在检索全命中的情况下仍落后金页 25.9 分，2.5 Pro 落后 19.9 分，占各自总差距的 83–88%；细看错误样本，其中 87% 是页引对了、数值取错了。页就在眼前，数抄错了——「读不进去」四个字，这回有了实验实证。
顺带回答一个自然的追问：那把整份文档都塞进去，是不是就稳了？更不行。all pages 设定下，九个模型里有五个比 top-3 RAG 还低（MUSE Glimmer 30B 掉 13.3 分），只有 GPT-6 Astra 和 Claude 两家小幅受益（+2.8 到 +4.3 分），而且这点优势随文档变长缩水，超过 100 页后只剩 1.6–3.5 分，成本却约是 RAG 的 10 倍。多给页面不等于会挑重点，最好的 all-pages 成绩仍比金页低 2.3–4.8 分。
📈 账本四：把证据「嚼碎」了喂，模型立刻会了
第四个发现可能最实用：VELD-QA 的那些人工标注，本身就是药。
把人工转录的表格文本加进同样的金页，GPT-5.4 的表格准确率直接 +13.2 分，Gemini 2.5 Flash +14.0 分；比较类表格题 +17.4 分；换成检索页设定，增益进一步到 +22.7 分。只加元素描述（一段「这张图画了什么」的白话文字）也有 +5.6 分。有人会怀疑这是不是抄了近道——这些描述直接包含答案的题只占 2.4%，捷径基本堵死。
再看一眼体裁维度，画风更刺激。
财务报告的表格是全基准的地狱难度：检索设定下 17.1%，给金页也只有 28.9%，而学术文档里的表格能到 61.7% 和 74.3%。同样给 GPT-5.4 加上转录表，财务表格从 27.7% 飙到 68.5%——差距之大，说明模型不是不会查表，是不会「读」密密麻麻的财务表；把表嚼碎了喂，立刻消化。手册与教程则是整体最弱的体裁（48.4%）。如果你的系统在金融文档场景跑，那个 17% 应该让你后背发凉。
怎么用：把这份账单搬回自己项目
VELD-QA 本身是个英文基准，但它示范的方法论可以直接搬走，三条路子：
- 分层诊断自己的系统：在自己业务数据里标几十道题的金页，分别跑「金页直读 / 检索 / 全文」三组，三组分数的差就是检索和阅读各自欠的账——按「检索是否全命中」再分层看一眼，还能区分「找不到」和「找到了不会用」；
- 当固定考卷用：15,000 道题、文档级切分、2.55% 的低重复率，适合给模型、检索器的版本迭代当回归测试集，避免「换个数据集排名就洗牌」的尴尬；
- 抄数据增强的作业：元素描述和表格转录的涨分已被实验验证，可以在自己的索引管线里给关键视觉元素生成白话描述、给核心表格生成结构化转录，检索命中时随页附喂。
给做 agent 的同学提个醒：这轮七个系统里，最贵的 DocLens 花 66 倍成本只比 top-3 RAG 高 2.1 分（还不显著），SimpleDoc 加 3.5 分要 20 倍成本，且收益几乎全部集中在表格题上；倒是「给对页面」这个 oracle 设定，又准又便宜。卷 agent 搜索之前，先想想这笔账怎么算才划算。顺嘴一提成本的具体量级：DocLens 平均每道题要 24.7 次模型调用、约 132 万 prompt tokens，这还是答一道题的花销。
举个具体的分诊例子（以下流程是本文作者基于论文方法给出的推测性建议，非论文原文）：假设你的合同问答系统周报 70 分，先抽 50 道错题标出金页；跑一遍金页直读，如果也只有 75 分上下，说明阅读端欠了 5 分，优先优化表格解析和图表描述，而不是砸钱换检索器；反过来，如果金页能跑到 92 分而检索设定只有 70 分，那 22 分全欠在检索上，换检索器或者加页级重排，比换更大的模型划算得多。先分层，再开药，别一上来就全栈重写。
🧊 泼冷水时间
数字讲完，得把 caveats 摆上桌，这份基准也有它的边界：
- 裁判有同族嫌疑：主裁判是 Gemini 2.5 Flash，而被评模型里恰好有 Gemini 家族成员；虽然 GPT-5.5 独立复判 3,323 条给出 κ=0.91 的高一致性、也未发现偏袒，但「同家族评审」的结构性质疑没法彻底消除，81.7% 这种上界数字对评分宽严是敏感的；
- oracle 不是产品指标：金页设定在真实系统里不存在，81.7% 是诊断读数，别拿它换算成「模型已经能处理八成长文档问题」；
- 覆盖面有限：仅英文、原生数字版 PDF、单文档单轮问答；扫描件、手写、幻灯片、多轮对话、跨文档检索都不在册；
- 系统对比没对齐算力：各代理系统沿用各自原始配置，「66 倍成本换 2.1 分」方向可信，具体倍数别过度外推；
- 人工标注也会错：论文自己承认标注含主观判断，证据元素的多页/多类型引用也只代表覆盖面，不证明每个被引元素都必不可少。
💡 理性看待
VELD-QA 最大的贡献不是又一份排行榜，而是把一张笼统的化验单拆成了两条：检索的账和阅读的账。拆完的结论挺颠覆直觉——过去这一年大家拼命卷检索、卷 agent 搜索的时候，「阅读」这条腿一直没跟上：正确答案就印在页面上，模型照样抄错数、看错行。
这也给下一代系统指了个方向：瓶颈可能不在更大的上下文窗口，而在更细粒度的证据理解——会查表、会读图、会盯住那 1.7% 真正要紧的页面。论文自己给出的信号也很明确：能把证据转成结构化描述（哪怕是模型自己生成）的系统，就有机会先追回那十几分。
至于做评测的你，至少从今天起，可以把那句「为什么才 62 分」拆成两个更好答的问题了：是没找对页，还是没读懂页？
（数据与结论均来自论文原文；文中对图表的解读方向与工程建议为作者个人推测，欢迎实测打脸。）
