几百条就够，不是几百万条。 2026 年 1 月，美国 AI 独角兽 Mercor 拿出一套只有 874 条的专家训练数据，对开源大模型 GLM 4.6 做了一轮单 epoch 的长程强化学习（long-horizon RL），结果它在复杂专业 agent 任务上的 Pass@1 与 mean score 直接近翻倍，corporate law 的 Pass@1 更是翻了三倍。过去想让模型变聪明，预训练数据动辄以万亿 token 计；到了 agent 后训练阶段，几百条高质量轨迹就能换来性价比拉满的能力提升。
全文摘要
想让 AI 能力翻倍，几百条高质量专家训练数据就够了。Mercor 用 874 条专家标注任务，对 GLM 4.6 做一轮单 epoch 长程强化学习，使它在 APEX-Agents 专业 agent 任务上 Pass@1 与 mean score 近翻倍。这条以小博大的路线早有苗头：WebGPT、ReAct、FireAct 层层证实「高质量任务轨迹的杠杆效应远超数据规模」。专家数据的含金量在于把隐性经验转化为模型可学习的任务过程与评价标准，正在催生时薪高达 300 美元的高端数据代采产业。
目录
-
- 一个违反直觉的实验：几百条数据就让能力翻倍
-
- 预训练 vs 后训练：杠杆从哪来
-
- 一条时间线：轨迹数据如何被一步步验证（WebGPT → ReAct → FireAct）
-
- 什么是专家训练数据（Expert Data）
-
- 一道真实任务：SaaS 上线前的公告复核
-
- 专家数据的价格与高端数据代采产业链
-
- 一段可直接跑的代码：生成 expert trajectory 数据集
-
- 症状 → 原因 → 解法对照表
-
- 数据能力增长的趋势：从 5 亿美元到 20 亿美元
-
- 三个常见误区
📦 配套资源：APEX-Agents 基准数据集与技术报告（公开下载，可用于自测 agent 能力）
1. 一个违反直觉的实验：几百条数据就让能力翻倍（The Counterintuitive Experiment）
Mercor 与 Applied Compute 合作，把一套 874 条专家标注任务交给 GLM 4.6 做后训练。GLM 4.6 是 355B 参数、32B 激活的 MoE 模型，基线在 APEX-Agents 上 Pass@1 只有 3.8%、mean score 12.1%——对一个开源模型来说算正常水平。实验选了 APEX-Agents 全量基准（480 个任务，n = 480），衡量 Pass@1、Pass@3 与 mean criteria passed。
关键在训练设置：单 epoch、无 SFT warmup、无过滤、不改任务与评分标准，数据分摊在 **50 个独立「worlds」**里，且这些任务与 world 都不出现在 APEX-Agents 基准中——排除「数据泄漏」的干扰。训练用的还是 Applied Compute 的私有长程 RL 栈，带着行为级观测跑端到端 RL。
结果：后训练模型在所有指标上都超过基线，Pass@1 与 mean score 近翻倍，corporate law 的 Pass@1 更是翻了三倍。更值得注意的是训练趋势线接近线性——在数据受限场景里，线性增长很不寻常，说明这批数据与目标能力对齐得极好，再加数据大概率还能涨。
🍜 打个比方：预训练像让 AI 把整座图书馆读完，后训练专家数据像请一位老师傅手把手教几招独门手艺——书读再多，没亲眼看过老师傅下刀，刀工学不会。几百条高含金量的「示范」，有时比一屋子泛泛的「读物」更有用。
参考资料：
2. 预训练 vs 后训练：杠杆从哪来（Pretraining vs Post-training）
一个 LLM 的一生分两个阶段。**预训练（pretraining）**在互联网规模数据上做下一个词预测，动辄万亿 token，目的是让模型学会「语言」和「世界知识」；**后训练（post-training）**则是拿一批精心设计的数据继续训练，让模型学会「怎么干具体的活」——遵循指令、使用工具、完成任务。
两者的数据量级不在一个天平上：预训练喂的是「随便一段文本」，越多越好；后训练喂的是「指令 + 标准执行过程」，贵在精不在多。为什么后训练能用几百条撬动能力？因为底座模型已经具备基础能力，缺的是「把已有能力串成一条完整任务链」的经验。而专家轨迹恰好提供了这种「过程 + 评价标准」，相当于在模型已经会的技能上，补上了「什么时候用哪个技能、用对没用好」的判断力。
这条「用小数据撬动大能力」的路径，正是 agent 时代性价比最高的优化点——它不改变模型已有的知识库，只提升调用知识的策略水平。我在MCP 与 Function Calling 怎么选里拆过模型与外部工具衔接的边界，它主要解决「怎么把工具用起来」；这里说的专家轨迹后训练，则更进一步，把「完成任务的全过程」也交给模型学习。
参考资料：
3. 一条时间线：轨迹数据如何被一步步验证（WebGPT → ReAct → FireAct）
「几百条任务轨迹就能大幅提升能力」不是 2026 年才冒出来的，这条路线早已被反复验证过：
- WebGPT（2021，OpenAI）：用人类浏览网页的完整操作轨迹，微调 175B 的 GPT-3，让它学会搜索、取证、组织答案。第一次证明「操作过程」本身就是可学习的信号。
- ReAct（2023，论文）：发现哪怕只在 prompt 里塞两条完整的「思考 + 行动」轨迹，也能明显激活模型的 agent 能力。证明「轨迹」不仅在训练里有价值，在推理时做 few-shot 示范同样有效。
- FireAct（2023，论文）：更进一步用实验量化——只用 500 条由 GPT-4 生成的 agent 轨迹微调 Llama2-7B，就让 HotpotQA 多步搜索任务的得分提高了 77%。
这三步层层递进，共同说明一件事：对已具备基础能力的大模型，高质量任务轨迹能产生远超数据规模本身的杠杆效应。到 2026 年，「靠后训练深入挖掘底座模型潜力」已经成为行业共识——比如最近上线的 DeepSeek V4.1 Flash，官方就特别强调它「经过了更大规模的强化学习后训练」。
参考资料：
- WebGPT: Browser-assisted question-answering with human feedback -- arXiv
- ReAct: Synergizing Reasoning and Acting in Language Models -- arXiv
- FireAct: Toward Language Agent Fine-tuning -- arXiv ⭐值得阅读
- DeepSeek V4.1 Flash：更强、更快、更普惠 -- DeepSeek 官方
4. 什么是专家训练数据（Expert Data）
专家训练数据（expert data），是把专业人士的完整操作经验交给模型的高质量数据，用于 post-training（后训练）。它和过去「一问一答」的普通问答数据有本质区别：
| 维度 | 普通问答数据（Q&A Data） | 专家训练数据（Expert Data） |
|---|---|---|
| 形式 | 一个问题 + 一个标准答案 | 一个任务 + 完整执行过程 + 评价标准 |
| 教给模型什么 | 答案长什么样 | 任务怎么推进、每一步怎么判断 |
| 可迁移性 | 只学到「答对」 | 学到「怎么想、怎么查、怎么纠错」 |
| 稀缺度 | 高，容易批量生产 | 低，依赖专家隐性经验 |
可以把它理解为思维链（chain of thought）的升级版：思维链只是让模型「想得更多」，而专家数据把专家原本难以言传的隐性经验——什么时候该查资料、查到了该怎么判断、多个文件冲突时该听谁的——尽可能转化成模型可以学习的任务过程与评价标准。这里面装着人类最宝贵的隐性经验，也是它「一条抵一万条」的根本原因。
参考资料：
5. 一道真实任务：SaaS 上线前的公告复核（A Real Task）
为了看清「高端数据」到底长什么样，我在一家专家数据采集网站找到一道真实任务的案例。这道题模拟的是一个 SaaS 产品上线前的公告复核：
- 背景材料就 9.2 万字，塞满了 PRD、研发排期、测试问题单、责任人邮件等关键资料。
- 专家给 AI 的 prompt 极其复杂：不仅要能从海量材料里找出公告中的错误，还要在文件说法互相冲突时，判断出究竟该听谁的，最后给出准确、格式统一的修改结果。
- 解题过程更细：专家要从「读任务要求 → 整理材料 → 确定判断规则」开始，拆成整整 7 个环节，一步步交代 AI 每一步的具体判断与操作，最后才给出一个简洁的表格作为标准答案。
这道题完美解释了专家数据的「含金量」：它不只是「高质量人类的优质回答」，更是一份可学习的过程说明书。模型照着这条轨迹走一遍，就知道面对真实项目时该按什么顺序思考、怎么权衡冲突信息——这正是普通问答数据给不了的。
💡 值得注意：模型在长程任务里最容易「看起来很专业但事实错误」。上面这个案例恰好对应 APEX-Agents 里 corporate law 那道「股东分红是否合规」的题——基线模型写出了一份排版漂亮但结论错误的法律备忘录，后训练模型却准确指出 26 USC §1366(a)(1) 违规，还用 Python 脚本复核了分配数学。「会查、会算、会自我纠错」才是这 874 条数据真正喂给模型的东西。
6. 专家数据的价格与高端数据代采产业链（The Industry）
专家数据稀缺且供不应求，于是「高端数据代采」成了一门新生意。过去帮企业挖人的招聘平台和猎头公司，现在纷纷调头，专门给 AI 物色「狗粮」——也就是高端数据代采。
以知名招聘平台 Handshake 为例，金融、法律、医学、数学这些硬核垂直领域都在疯狂招人。待遇极其诱人：全员远程、工时自由，不同岗位给出的最高时薪从 40 美元一路飙到 300 美元。但这活儿不是谁都能干——一个时薪 150 美元的岗位，要求是理工类教授、刚发表过顶尖论文，门槛高得吓人。
含金量也直接体现在价格上：一条 1 万块的数据，可能比 1 万条 1 块的更有用。这种「贵但有用」的特性，让专家数据代采急速长成十几亿美元级的大生意。
💡 这里有一层「数据定价」的直觉：普通标注数据按「量」计价，几美分一条；专家数据按「质」计价，一条几百美元起。在 agent 后训练阶段，质量的边际收益远超数量，所以买家愿意为稀缺的隐性经验支付溢价。
参考资料：
7. 一段可直接跑的代码：生成 expert trajectory 数据集（Runnable Code）
下面这段代码演示「几百条专家轨迹」是怎么生成的：调用一个 OpenAI 兼容的大模型，按 ReAct 格式把任务执行过程完整写出来，再落成 JSONL 训练数据——这正是后训练数据的雏形。复制粘贴即可运行（需要一份任意 OpenAI 兼容的 API Key）。
# 环境：pip install openai；先在环境变量里设 EXPERT_API_KEY 与 EXPERT_BASE_URL
import json # 用 json 序列化轨迹，便于落成 JSONL 训练数据
import os # 读环境变量，避免把密钥写死在代码里
from openai import OpenAI # 调用任意兼容 chat/completions 的模型服务
# 用环境变量构造客户端，base_url 可指向 DeepSeek、GLM 等兼容服务
client = OpenAI(api_key=os.environ["EXPERT_API_KEY"], base_url=os.environ["EXPERT_BASE_URL"])
# 把「任务 + 评价标准」封装成 system，让模型按 ReAct 格式生成专家轨迹
SYSTEM_PROMPT = (
"你是一名资深 agent，需要远程完成专业任务。" # 交代角色定位
"请严格按 Thought -> Action -> Observation 循环推进，最后给出 Final Answer。" # 约定轨迹结构
"每一步都要说明判断依据，不要跳过工具调用过程。" # 强调过程可学习是关键
)
def generate_trajectory(task: str, rubric: str) -> dict:
"""生成一条专家轨迹，并以训练样本字典返回。"""
# 把 task 和 rubric 拼进用户消息，让模型产出可学习的完整过程
user_msg = f"任务：{task}\n评价标准：{rubric}\n请完整执行并输出轨迹。"
# 调用模型，max_tokens 留足空间以容纳多步 Thought/Action
resp = client.chat.completions.create(
model="glm-4.6", # 换成任意基座模型
messages=[
{"role": "system", "content": SYSTEM_PROMPT},
{"role": "user", "content": user_msg},
],
temperature=0.7, # 稍高温度让轨迹有探索性，避免全同质化
max_tokens=4000, # 长程轨迹需要足够 output 空间
)
trajectory = resp.choices[0].message.content # 取出完整轨迹文本
# 组装成 SFT/RL 通用的训练样本：input 是任务，output 是专家轨迹
return {"input": task, "output": trajectory, "rubric": rubric}
def main() -> None:
"""主流程：对一组任务批量生成轨迹，写入 expert_trajectories.jsonl。"""
# 用真实专业场景作为轨迹来源，模拟「几百条」的数据扩充
tasks = {
"SaaS公告复核": "找出公告中的错误、判断文件冲突、给出格式统一的修改结果。",
"税务合规判断": "分析股东分红是否符合美国税法，给出合规与否的结论。",
}
records = [] # 收集所有训练样本
for task, rubric in tasks.items(): # 逐个任务生成，模拟少量高质量的轨迹扩充
records.append(generate_trajectory(task, rubric)) # 追加一条专家轨迹
print(f"已生成轨迹：{task}") # 打印进度
# 落盘为 JSONL 训练数据，ensure_ascii=False 保留中文
with open("expert_trajectories.jsonl", "w", encoding="utf-8") as f:
for record in records: # 逐条写入
f.write(json.dumps(record, ensure_ascii=False) + "\n")
print(f"共生成 {len(records)} 条专家轨迹，写入 expert_trajectories.jsonl")
if __name__ == "__main__": # 脚本入口
main() # 执行主流程
这段代码里有两处值得注意：max_tokens=4000 是长程轨迹的关键门槛——一次完整的多步 Thinking + Tool Use 往往需要数千 token，切太小会中途截断；temperature=0.7 是为了保留轨迹的探索性，避免几百条数据全是一个模子刻出来的——同质化正是「数量堆上去、效果不涨」的元凶之一。
8. 症状 → 原因 → 解法对照表（Symptom / Cause / Fix）
| 症状（Symptom） | 原因（Cause） | 解法（Fix） |
|---|---|---|
| 想让 agent 在专业任务上变强，却只有「一问一答」的普通问答数据 | SFT 学到的是「答案格式」，不是「任务推进过程」 | 改用专家轨迹（process + rubric）做后训练 |
| 数据堆到上万条，模型效果反而不涨了 | 数据同质化、质量低，边际收益递减 | 换成几百条高质量专家轨迹，质量优先于数量 |
| 想在专业任务上翻倍，却打算从头预训练一个模型 | 预训练以万亿 token 计，成本高且知识已饱和 | 用 post-training 小数据撬动已有底座的能力 |
| 模型在长程任务中中途放弃、提前提交 | 缺乏长程 RL 与轨迹级反馈 | 单 epoch 长程 RL + 行为级观测，可观测才能纠偏 |
| 模型「看起来很专业但事实错误」 | 只读文档表层、不核对依据、不做自检 | 用专家评价标准 + 轨迹式解题，强制交叉验证 |
| 专家标注成本高、供不应求，找不到人 | 隐性经验稀缺，需专业门槛 | 走高端数据代采，用高时薪激励专业人才参与 |
9. 数据能力增长的趋势：从 5 亿美元到 20 亿美元（The Trend）
模型能力肉眼可见地提升，AI 公司自然愿意为稀缺数据买单，整个「数据生意」正在急速膨胀：
- Mercor：年化总收入从去年 9 月的 5 亿美元，一路飙到今年 6 月的超过 20 亿美元。
- Handshake：AI 训练业务从年初的 5.5 亿美元，在几个月内逼近 10 亿。
- 字节跳动：新设一级部门「AI 数据与安全」，专门负责数据的规模化生产，甚至能和懂 AI 应用的抖音本体平行。
以前给 AI 找数据、洗数据、验数据，纯属「苦力活」；现在大伙算是正式上桌了。当这些最稀缺的人类经验被稳定「制成精饲料」喂进模型，AI 的下一轮进化可能也就不远了。
参考资料：
10. 三个常见误区（Three Misconceptions）
误区一：数据越多越好。 在预训练阶段成立，在后训练阶段恰恰相反。874 条实验表明，数据受限场景下最大的风险不是「训练不足」，而是**「把稀缺的专家精力分配错了」**——与其无脑堆量，不如把高质量轨迹对准真实的、可观测的能力缺口。
误区二：专家数据 = 更长的思维链。 不完全对。思维链只是「想得更多」，专家数据额外包含了任务过程、工具调用、冲突判断与自我纠错，它教的是「怎么漂亮地把活干完」，而不只是「多想几步」。
误区三：几百条数据谁都能复现。 不是。874 条的翻倍效果建立在两个前提上：一是底座模型已经具备较强基础能力（GLM 4.6 有大 355B、激活 32B 的规模），二是这批专家轨迹与目标能力高度对齐（训练趋势接近线性）。缺了任何一环，几百条数据都可能打了水漂。
顺带说清一个和主线相关但容易被混淆的点：后训练数据 ≠ 原始 human feedback。像 RLHF 那样只给「好/坏」评价，和给出完整的专家轨迹，是两种粒度不同的信号。前者告诉模型「这个答案不行」，后者告诉模型「这条路该怎么走」。874 条实验用的正是后者，这也是它带来近翻倍提升的关键。
最后更新时间：2026-10-29
想要 agent 在真实专业场景里落地，别再用海量低质数据填鸭——找几条能对齐目标的专家轨迹、跑一轮长程后训练，性价比高得多；如果是为了刷榜单、追求「看起来全能」，那几百条数据的杠杆效应反而帮不上忙。
本专栏《LLM 大模型技术专栏》从 Transformer 注意力机制一路讲到推理引擎、RAG 与 Agent 落地，每篇都配一段可直接运行的代码，每周更新一篇。想按顺序读完，可在专栏页订阅。
