摘要：GDPval 不是“刷题型 benchmark”，而是“交付物型 benchmark”——做 PPT、做表格、写文档、画图、剪视频，用同行专家盲评来判断模型的交付是否“像真的能上班”。接下来让我们讲清 GDPval 的设计逻辑、任务形态、评分口径（尤其是 ties 的影响）、70.9% 这种数字该怎么读，以及你如何用公开子集（220 任务）把 GDPval 接进自己的评测/智能体迭代闭环。文末给一个工程化建议：如果你需要在国内稳定跑多模型评测，可用 OpenAI 兼容网关（base_url）统一入口；例如 147API 这类服务通常能降低接入与切换成本（具体能力以平台说明为准）。
一、GDPval 是什么？为什么它比传统 benchmark 更“像工作”
很多常见基准（选择题、数学题、短问答）更像考试：
- 目标明确、答案可判定、很适合自动评分；
- 但很难覆盖真实工作里最费劲的部分：读附件、抽数据、做排版、做可视化、写得像个交付物。
GDPval 的关键点在于：它测的是明确任务下的交付质量（deliverables）。
你可以把它理解成：一张“Jira 工单 + 附件包 + 交付标准”，模型要交的是可用的产出物（文档/表格/幻灯片/多媒体），而不是一段“看起来很聪明”的聊天文本。
二、先把事实讲清楚：GDPval 的核心参数（最容易被误读的点）
| 维度 | GDPval v1（官方口径） | 备注 |
|---|---|---|
| 覆盖范围 | 9 个行业、44 个职业 | 不是单领域（不只是编程），而是跨行业知识工作 |
| 任务形态 | 带参考文件的真实任务；产出文档/表格/幻灯片/多媒体 | 不是一条 prompt，而是“工作委托 + 附件 + 交付物” |
| 规模 | full set 1,320 任务；开源 gold subset 220 任务 | 公开可复现的是 220；完整版更大但不全开源 |
| 题目来源 | 行业专家撰写，平均约 14 年经验（论文口径） | 不是合成题，而是岗位真实交付抽样 |
| 主评分方式 | 同职业专家盲评对比（pairwise preference） | 分数不是正确率，而是“更偏好谁的交付物” |
| 主指标 | win-rate（可含 ties） | 看到 70.9% 先问：是不是把“持平”也算进去了？ |
三、GDPval 的任务到底长什么样：不是“问答”，而是“交付委托书”
GDPval 的单条任务通常包含三块：
- 工作背景 + 明确交付要求：例如做一份 PowerPoint、输出一个 Excel、写一份 Word/PDF 报告、生成一个视频等
- 参考文件（reference files）：表格、PDF、图片、音频/视频，甚至更专业的文件格式
- 产出物（deliverables）：往往是“可交付文件”，而不只是聊天文本
所以 GDPval 很难用“答案字符串匹配”去评估——它的目标就是逼近真实岗位的“交付可用性”。
四、数据怎么做出来的：专家出题 + 多轮质检（以及两个常被忽略的披露）
GDPval 强调职业真实性：
- 任务作者：行业专家撰写（平均约 14 年经验）
- 任务数量：
- full set：1,320 任务（44 职业，每职业至少 30 任务）
- gold subset（开源）：220 任务（每职业 5 任务开源）
- 评审流程：平均约 5 轮专家审查（保证可执行、信息清晰、可评估）
- gold set 中约 89% 被评为 well-specified（指令清晰）
两个写深度文很加分、但经常被跳过的披露点：
- 敏感/政治内容披露：任务可能包含 NSFW、政治等主题，因为真实行业里确实会出现
- 品牌与商标披露：数据集中出现品牌/商标仅用于研究与评测，不代表背书
五、GDPval 怎么打分：同行盲评 + 偏好对比（pairwise preference）
GDPval 的“金标准”是同职业专家偏好，大致流程是：
- 找同职业专家做 grader
- 给同一任务的上下文与参考文件
- 盲评对比：把“模型交付物”与“人类专家交付物”放一起，不告诉来源
- 让 grader 判断：
- better（更好）
- as good as（一样好）
- worse（更差）
论文里常见的一种映射方式（口语化解释）是：
- 模型更好 = 1
- 持平 = 0.5
- 人类更好 = 0
这也是为什么 GDPval 会特别强调 ties（持平）：在真实交付里，“都能用但各有优缺点”非常常见。
六、如何读懂发布页里的“GDPval 70.9%”？先问清口径，再谈意义
你在 GPT‑5.2 发布信息里看到的典型表述是：
- GDPval 70.9%（wins or ties）：胜出或持平
这里最容易被误读的点是：
- 这不是任务正确率，而是“盲评对比胜率”（AI vs 人类）
- ties 会显著影响观感：同一批结果，口径不同，数字会差很多（只算 clear wins / 允许 ties / 不允许 ties）
- 更重要的是：这不等价于“70.9% 的工作都能替代人类”——它测的是一次性交付的偏好对比，不是完整工作流的岗位替代率
再补一个发布页里很关键、但常被忽略的细节：
如果模型在产品里拥有更强的工具链（文件生成、搜索、代码解释器等），GDPval 的分数部分反映的是“工具链 + 工作流能力”，而不只是“语言模型本体”。
七、“速度 >11x、成本 <1%”那句话怎么读：别忽略审阅与返工
发布信息里常会出现很吸睛的结论：速度大幅提升、成本极低。但工程决策时最好把它拆成“端到端交付成本”来看。
一个非常实用的直觉公式（来自论文分析设定的口语化简化）：
- 人类完整做完任务时间 (HT)
- 模型生成交付物时间 (MT)
- 专家审阅模型交付物时间 (RT)
- 模型胜率 (w)（达到质量门槛的概率）
那么“先让模型做一次，不满意就人类自己做”的期望耗时近似：
[ E[T] \approx MT + RT + (1-w)\cdot HT ]
含义很直接：当 (w) 不够高时，审阅与返工会吃掉大部分‘推理很快’的收益。
八、为什么还要“自动评分器”？它能替代人类盲评吗？
因为请行业专家盲评很贵，GDPval 提供了实验性的 automated grader（自动评分器），目标是预测人类偏好。
结论：
- 自动评分器与人类评分一致性约 66%
- 人类评分者彼此一致性约 71%
- 换句话说：自动评分器离“人类内部一致性”仍有差距，暂时不足以替代人类盲评
再加上环境与文件渲染等现实限制（字体、格式、附件处理），因此自动评分更适合做快速迭代信号，而不是最终裁判。
九、怎么把 GDPval 用到你自己的评测体系：公开子集 + 可复现路径
如果你的目标是“复现/对标/内部评测”，最稳妥路线是：用开源 220 任务（gold subset）+ OpenAI Evals 的评分服务。
1）获取公开数据集（gold subset）
Hugging Face 数据集：openai/gdpval
我们先看看字段长什么样：
from datasets import load_dataset
ds = load_dataset("openai/gdpval")
print(ds["train"].features)
print(ds["train"][0]["occupation"])
print(ds["train"][0]["prompt"][:300])
print(ds["train"][0]["reference_file_urls"][:3])
2）生成你的“提交结果”（deliverables）
你通常需要为每条任务补齐两类东西（概念层面）：
- deliverable_text：交付说明/提交备注
- deliverable_files：交付文件列表（例如
report.pdf、model.xlsx等）
3）用 OpenAI Evals 做自动评分（实验性）
入口：https://evals.openai.com/gdpval/grading
（常见流程是：把你的提交结果组织成他们要求的数据结构，让评分服务拉取并打分。）
4）评测建议：先做“职业切片”，再看全量平均
GDPval 天然支持按 occupation 切片。实践里建议：
- 先选与你业务最相关的 3–5 个职业切片
- 再看全量平均（避免被与你无关的职业任务稀释，误判模型对你业务的真实价值）
十、GDPval 的边界：别把它当成“职业替代率”
- 它更像“明确任务下的一次性交付能力”，不是开放世界的上限
- 主要覆盖可数字化的知识工作，对线下执行与组织协作覆盖少
- 职业体系与数据来源偏美国语境（BLS / O*NET）
- 偏好评测存在主观性与一致性问题
- 速度/成本外推要谨慎：推理成本 ≠ 系统接入业务的总成本
十一、做 GDPval/多模型评测时，工程上最省心的一件事
如果你要持续跑评测（尤其是多模型对比、频繁切换、不同环境复现），工程上通常会把接入抽象成“OpenAI 兼容入口”：
- 用
api_key管理鉴权 - 用
base_url统一路由 - 让上层评测代码尽量不跟某一个供应商强绑定
在国内环境下，很多团队会选择 OpenAI 兼容的网关/中转服务来降低接入与切换成本。例如 147API（147ai.com） 就属于这种思路：你可以用它作为统一入口去做评测跑通、模型切换与成本管理（是否适合以你的业务与平台规则为准）。
参考资料
- OpenAI：GDPval 介绍：
https://openai.com/index/gdpval/ - GDPval 论文 PDF：
https://cdn.openai.com/pdf/d5eb7428-c4e9-4a33-bd86-86dd4bcf12ce/GDPval.pdf - OpenAI Evals 总览：
https://evals.openai.com/ - OpenAI Evals：GDPval grading：
https://evals.openai.com/gdpval/grading - Hugging Face：
openai/gdpval：https://huggingface.co/datasets/openai/gdpval
