💡 一句话总结：数学考试 AI 已经超越人类，但「理解人类怎么想」这件事呢？MIT 团队把认知科学几十年积累的 258 个经典实验标准化成统一考卷，让 50 个大模型和人类同场竞技：模型确实越来越像人，但天花板还有很远——而且「常识」这一科的成绩增长明显掉队于数学和编程。所有「AI 达到人类水平」的说法，都该先过这张考卷。
导语：「像人」不是感觉，是可测量的科学问题
「GPT 像人一样思考吗？」——这类争论通常止于各说各话的感觉。认知科学的回答方式一直很明确：拿实验来。几十年的人类行为研究留下了成千上万个精心设计的实验范式：人怎么推断他人意图、怎么理解模糊指令、怎么看图推理因果。
问题在于工程：每个实验都有自己的材料、流程、计分方式，把 258 个实验标准化到能给 50 个模型统一施测——这是认知科学与 AI 系统工程的大规模联姻。MIT 领衔、哈佛/康奈尔/斯坦福等十几家机构参与的 CogGym 做成了这件事。
想看原文？
- 📄 论文：arXiv 2609.21259
它的思路是什么？
- 🧪 EML 实验标记语言：把认知实验的刺激材料、流程、计分规则标准化成任务无关的统一格式——半自动管线 + 人工校验保证「忠实转译」每一个实验
- 👥 真人类锚定：不是「猜人类会怎么答」，而是用论文里的真实人类响应数据逐试次对齐——对比的是「模型 vs 真人」，不是「模型 vs 常识直觉」
- 📏 以人类信度为天花板：人类自己重测一遍的信度（split-half reliability）R² 是 0.92–0.95——这是任何模型「拟人度」的理论上限，也是诚实的标尺
效果到底怎么样？
- 📈 缩放有效，但天花板很远：更大更新的模型确实更接近人类判断——但最佳模型 R² 仅 0.59（文本）、0.58（图像）、0.43（视频），而人类信度是 0.93/0.95/0.92。最好的模型也只到人类「自己像自己」程度的六成
- 🐢 常识掉队：模型在数学、编程等形式推理基准上突飞猛进，但在人类常识推理上进步明显偏慢——「会算题」和「懂人」是两条不同的能力曲线
- 🔬 方法学彩蛋：直接让模型在同一温度下重复采样，分布远比人类尖锐（模型「过度自信」），低估了人类的意见分歧——让模型口头报告「人群分布」的诱导方式更靠谱
为什么你要关心？
- 🚨 给「AI 达到人类水平」叙事降温：考试分数超越 ≠ 认知上像人。产品里让 AI「预测人类反应」（A/B 测试预演、用户调研模拟）的团队，这个 R² 差距就是你的误差预算
- 🏗️ EML 是可复用的基础设施：把实验标准化为统一格式再大规模施测的思路，适用于任何需要「跨系统对比行为」的场景
- 📏 「以人类信度为天花板」的评测设计原则：任何「像不像 X」的评测都应该先测 X 自己的信度做标尺——否则 0.59 和 0.95 的差距根本无从谈起
理性看待
冷静看三点：258 个实验集中在常识推理子域，社交推理、道德判断等更多认知领域待扩展；实验源自已发表论文，存在经典文献的选择偏差；verbalized prompting 自身也有诱导偏差。但作为迄今最大规模的人机行为对比，CogGym 的核心结论足够清醒：AI 在模仿人类这件事上进步真实存在，但离「以假乱真」还有整个认知科学的距离。
