我没有凑到 100 道题:一个 Agent 评测集的取舍
项目 FinTrace(可审计的财报研究 Agent)。这篇记录评测集从 30 题长到 70 题的过程, 以及为什么我最后停在 70,而不是设计文档里写的 100。 仓库 github.com/evinyang-zw… · 终版报告 github.com/evinyang-zw…
终版结果先摆在这里:70 题 = 60 道开发集 + 10 道一次性 holdout。开发集 60 题 × 4 个 seed(n=240)正确率 99.0%(95% CI [97.6, 100]),holdout 95.0%(n=20,CI [85.0, 100.0])。
一、起点:30 题,6 类,先跑通
第一周我不写 Agent,只做两件事:把数据喂进去,把尺子造出来。
30 道金标题,6 类各 5 道:单点事实、多跳、数值计算、跨公司对比、不可答、对抗样本。
每道题必须满足五条才能入库:
- 答案唯一(能由 XBRL fact 或一段原文唯一确定);
- 时间明确(有
as_of,不受之后披露影响); - 不靠常识(优先选模型知识截止之后的财年);
- 有陷阱(错误答案看起来合理);
- 能归因(答错了,能说出是哪一层的问题)。
第 5 条最狠:写不出归因的题,是废题。
二、30 → 45:扩题不是因为"想更好看"
W2 基线出来的时候,20 道计分题正确率 95%,看起来很好。拆开看:
- 15 道有 XBRL 数字的题几乎满分;
- 5 道多跳检索题实质 0/5——2 道拒答,3 道关键点覆盖 0.48 / 0.54 / 0.61。
总分在撒谎。 尺子量的是"工具接线",不是"多跳推理"。
所以 W3 扩到 45 题,重点补 F2(多跳 5→15)和 C2(对比 5→10)。扩题的判断标准只有一个: 新增的题要能暴露旧题集看不见的失败。
三、45 → 50:引用陷阱
W4 加了 5 道"引用陷阱"题:答案对,但数字只出现在 Item 8,Item 7 只做定性讨论。 引错段落不会被数值判分抓住,只会被引用校验抓住。
这类题的价值不在于"难",而在于它验证的是校验器,不是模型。
四、50 → 70:设计说 100,我停在了 70
主设计写的是 100 题(含 20 道 holdout)。到 W5 结束,实际是 50 题。
按时间算一笔账:
| 方案 | 新增题 | 出题耗时 | 留给叙事的时间 | 结论 |
|---|---|---|---|---|
| 100 题 | +50 | 6–7h | 13h,但报告/README/文章/视频 | 必然砍视频或文章 |
| 70 题 | +20 | 2.5–3h | 17h | 能做 |
| 60 题 | +10 | 1.5h | 18.5h | 最松,但 holdout 太薄 |
设计文档自己留了退路:"如果 W5 结束只到 60 题,就按 60 题出终版报告……每类不少于 8 题是底线。"
到 W6 时,C1 / A1 / R1 各只有 5 题,连底线都没到。所以最后的分配是:
- 60 道开发集:50 + 10 道补短板(C1/A1/R1 各 +3,C2 +1),每类 ≥8;
- 10 道 holdout:全部出在 F2 / C2,W4 唯一会掉分的两类。
合计 70。
为什么 holdout 只放 F2/C2? C1/A1/R1 已经接近满分,拿它们做 holdout 只会得到"又考了 100%",没有信息量。要测就测会错的地方。
五、holdout 的纪律,和一次真实的翻车
10 道 holdout 的流程是:
- 写完只跑数据校验(
q-check:schema、XBRL 对账、引用存在性),不跑模型; - 先跑开发集 4 个 seed,所有 bug 和 prompt 调整都在开发集上做;
- 开发集稳定后打 tag
v1.0-final; - 才跑 holdout(2 个 seed 算一轮);
- 跑完不许改代码再跑。如果必须改,这条 holdout 作废,并在报告里写明"已失效"。
为什么这么麻烦?因为 holdout 唯一的价值就是"模型没见过的题"。一旦看了结果再去调 prompt, 它就变成了开发集,只是名字好听。
第一次跑就翻车了。 正确率 100%,但数值准确率只有 40%。看起来像模型在没见过的题上崩了。
查下去发现不是:三道 C2 的答案 0.63 / 0.39 / 0.25 都是题目要求的两位小数,但判分器的 0.5% 相对容差把它们判错了——0.25 相对 0.25357 差 1.4%。是尺子的问题,不是模型的问题。
我按事先写好的规则处理:第一次 holdout 作废。只改判分器(按题目要求的小数位给绝对容差),
agent 代码一行没动(v1.0-final → v1.0.1 的 diff 只有 eval/graders.py 和测试),然后重跑一次。
这件事让我更相信 holdout:它不只测模型,也测尺子。
六、报告里必须分开的三个数
| 口径 | 题数 | 能不能和 W4 的 50 题基线直接比 |
|---|---|---|
| 50 题子集(旧题) | 50 | ✅ 同题,可配对比较 |
| 60 题开发集 | 60 | ❌ 题变了,只能描述 |
| 10 题 holdout | 10 | ❌ 只跑过一次 |
50 题子集不单独跑,从 60 题开发集结果里按 id 抽出来。同一次运行、同一批答案,才叫配对。
七、判官也要被审判
评测集变大的同时,判官本身被校准了两次:
- 初版 rubric(w3.0):60 条盲标,二次加权 κ = 0.603;
- 只改规则、人标一行不动:κ = 0.795,完全一致率 90%;
- 引用校验器另做 30 条 claim 盲标:一致率 86.7%,κ = 0.634。
κ 0.795 不算完美,但足够回答"这个判官能不能用来比两次运行"。剩下 6 条分歧里 3 条是
题目措辞歧义——继续为它们调 prompt 就是在 60 条样本上过拟合,所以我停手,并在报告头
固定写 judge_kappa=0.795。
八、止步 70 的代价,我认
终版报告写清楚了:
- 开发集 60 题 × 4 seed:99.0%(CI [97.6, 100]);同题 50 子集 98.9%,与 W4 的 95.0% 可对照;
- holdout 10 题 × 2 seed:95.0%(CI [85.0, 100.0]);10 题里 9 题两次都对,唯一失败是亚马逊分部表的一题被拒答一次;
- 表格类多跳仍是弱点;
- 10 道 holdout 只能看方向,给不出稳定区间;开发集分数也不是分布外准确率;
- "100 题"这个数字没有了。
但换来的是:4 个 seed 的开发集、一次性的 holdout、70 道题都能追溯到 XBRL 或原文、 以及一版没有注水的 README。
评测集的敌人不是"题少",是"题多到没人能逐题解释为什么这么出"。
九、复现
make q-check # 70 题数据校验(schema + XBRL 对账 + 引用存在性)
make eval AGENT=graph JUDGE=llm # 开发集 60 题(默认 gold_v3)
make eval AGENT=graph JUDGE=llm ARGS="--tags holdout" # 一次性终测
(引用校验是怎么从结构口径 92%、语义口径 56.1% 做到 98.4% 的,见另一篇《从 56% 到 95%》。)