系列：RAG 评测工程（0026 实践复盘）·
对应原始记录：memory/0026 阶段 C3（2026-09-05），完整代码及过程记录见开源仓库ai-study-helper , 背景产品定位和边界梳理见 juejin.cn/post/768077…
30 秒判断
如果你正在用 LLM 判官做评测，而且你已经通过几次痛苦的调试积累了一堆"判官会怎么误读"的内部知识——比如"它会把背景当细节""会把模型自己的取材说明当成文章内容""会跨源张冠李戴"——你可能会担心：这些经验只有踩过坑的人才写得出好金标准，换个人来写又得重新踩一遍。
这篇文章回答一个更尖锐的问题：这些内部知识能不能外化成一套规范，让一个没有踩过坑的人，只照着规范写出合格的金标准？
我们做了一次"盲写验证"：把经验提炼成五条写作规范，让 AI 假装没有内部知识、只按规范重写三个问题点，再与"带内部知识版"对比。结论：规范可以让新手写出结构合格的初稿，反例完备度靠闭环实验补，具体失败模式词例是加分项而非必需项。
1. 背景：内部知识是怎么积累的
我们的金标准是"清单型点表"：每条用例把正确答案拆成若干覆盖点，每点带一个"覆盖探针"（probe）——告诉判官"覆盖须含什么、什么不算"。判官逐点标 covered / not_covered。
调试几个月后，我们手里攒了一批"判官误读模式"：
- 背景当细节：o2-e2 要求"角色重定义的细节"，判官把"代码零行手写、用时 1/10"（实验成效，属于背景）当成细节；
- 元陈述当文章内容：o2-e4 要求"文章承认的局限"，判官把模型自己的"资料未覆盖全文"取材说明当成文章内容；
- 跨源张冠李戴：把 A5 的"Looking ahead"当成 O2 的"还在学什么"。
这些知识写进金标准确实有效：旧金标准下 o2-e2 的错误率高达 86%（判官把"代码零行手写、用时 1/10"这类实验成效当成了角色重定义细节），修好的版本把同一条输出上的错误率压到个位数噪声带。但问题来了——这套知识能教给别人吗？ 如果只有踩过坑的人能写出好金标准，那"金标准写作"就永远是个手艺人活，没法规模化。
2. 实验设计：假装不知道，只按规范写
先把内部知识提炼成五条规范（见下节），然后做盲写：
- 盲写版：只拿到五条规范 + 原始素材（文章原文、覆盖点主题），明确要求"忽略任何调试过程中的内部知识"，重写三个问题点（o2-e2 / o2-e3 / o2-e4）的探针；
- 对照版：带内部知识版，里面有"零行手写不算""A5 Looking ahead 不算"这类具体词例。
同一份模型输出（#7），两个版本各判 50 次。
3. 五条规范：外化的对象是什么
盲写版依据的规范长这样：
- 点正交：两两检查——同一母题的概括与细节不拆成两个点；跨文语义相近的类别必须显式归属到源；
- 正面探针实例化：列出点名时必须出现的关键概念 / 术语，或不可混淆的等价描述，让判官有词可查；
- 反例必备：明确"什么不算"——相邻点内容不算、背景 / 成效数字不算、模型元陈述（资料缺失 / 未覆盖全文 / 节选）不算文章内容；
- 跨源绑定 + 显式排除：多文档用例每点注明所属源，相似类别写明"不是另一篇的 X"；
- 闭环：初稿 → 代表性输出稳定性 / 错配实验 → 把错配样本的反例补回探针。
注意第 3 条："反例必备"本身已经包含了"模型元陈述不算"——这其实是把内部知识类型化了。盲写者不知道具体案例，但规范告诉他"反例这个坑位必须填"，他填的时候自然会想到"取材说明这种算不算"。
4. 结果：结构等价，词例欠缺
盲写版产出的探针：
- o2-e2：自然写出"仅报告工程成效数字 / 概括不算"——与内部知识版的"零行手写不算"结构等价；
- o2-e3：写出"仅描述自动化流程不点明因果不算"——等价于内部知识版的"自动合并不算"；
- o2-e4：写出"模型资料局限说明不算、其他来源前瞻呼吁不算"——等价于内部知识版的"A5 Looking ahead 不算"。
结构等价，但缺具体词例——盲写版不知道失败样本长什么样，所以写不出"What we're still learning""Looking ahead"这种精确到词的反例。
误差率对比（同一输出 #7 ×50）：
| 点 | 旧金标准基线（修前） | 盲写版（按规范重写后） |
|---|---|---|
| o2-e2 | 86%（把成效数字当细节） | 4%（2/50） |
| o2-e3 | 24%（把自动合并当合并哲学） | 0% |
| o2-e4 | 20%（元陈述 / 跨源前瞻误判） | 2%（1/50） |
盲写版两条残余各有一个词例缺口：o2-e2 的残余是把 o2-c2 的规则机械编码、把评审意见沉淀当角色重定义；o2-e4 的残余是元陈述仍有漏网。都在个位数噪声带。
口径勘误（必须写清楚）：这张表里的"旧金标准基线"与"盲写版"之间隔着不止金标准重写——期间还上了"用户层一次调用拆多次"的编排改造，存在编排变量差异，不是严格同口径对照。"规范可外化"的结论由盲写版结构等价（写得出同样类型的反例）+ 降错方向（系统性两位数错误降到个位数噪声带）共同支撑；86→4 这个数字不宜作为"规范单独起效"的定量证据引用。这是评测写作里最容易犯的错：拿两个变量同时变化前后的数字讲故事。
5. 结论：规范保证初稿合格，词例靠闭环补
验证的意义不在于"盲写版和内部知识版一样好"，而在于把金标准写作从"玄学"变成"有结构的工程"：
- 规范让新手写出结构合格的初稿——该有的坑位（正面要件、反例、跨源归属、元陈述排除）都会填上，错误率直接进噪声带；
- 具体词例是加分项不是必需项——缺词例的残余（个位数）可以在第 5 条"闭环"里补：跑一次稳定性实验，把错配样本的反例补回探针；
- 闭环是反例完备性的唯一来源——规范把踩坑从"随机分布"变成"结构已知的待补项"，但完备性仍需实验迭代。
换句话说：规范解决"初稿结构合格"，实验解决"反例完备"。两件事分开，金标准写作就可以分工——新手按规范起草，老手跑实验补词例。
6. 可带走的清单
- 金标准（判定准则）写作要把内部经验类型化成规范：反例、跨源归属、元陈述排除是通用坑位，不是某个用例的特例；
- 规范的可外化性可以验证：让一个不带内部知识的人/模型只按规范重写，与带知识版对比——结构等价即可证明规范有效，不必追求逐词相同；
- 对比实验要控制变量：基线组与实验组如果还有编排差异，数字不能直接做归因（我们踩过）；
- 残余个位数错误交闭环补词例，不要试图用规范穷举所有失败模式（那是过拟合）；
- 写作规范本身也要版本化、随新失败模式演进。
7. 边界声明
- 单一判官模型、单一项目、三个覆盖点、一组对比型任务族；规范条目大概率跨场景成立，但验证范围很小；
- "盲写"由 AI 执行，AI 声称忽略内部知识不等于真的没有影响（它见过语料）；更干净的验证应该由从未接触项目的人执笔；
- 本文只覆盖"清单型"金标准的探针写作；散文式金标准、拒答型等形态另有规范。
现场实验记录（#7 输出 ×50、盲写版探针全文）见开源仓库 ai-study-helper 的 memory/0026 阶段 C3 与 backend/eval/cases/rag/rag-cmp-002.json。
