\n\nOpenAI 的 GPT-6 Astra 在 ARC-AGI-3 测试中取得 98.6% 的高分，大幅超越前代，并在多领域展现出强大的逻辑与协作能力。然而，该成绩受到评估环境差异的影响，且模型在复杂任务中仍存在可解释性与监管挑战，尚不足以证明其已达到 AGI 水平。
译自：GPT-6 Astra aced the hardest AI benchmark. The asterisk matters more than the score.
作者：Amanda Caswell
三月份 ARC-AGI-3 的发布明确了行业的分水岭。虽然前沿 AI 模型当时的得分几乎不到 1%，但人类却能够轻松驾驭这些全新的交互环境。
六个月后，OpenAI 给出了关于 GPT-6 Astra 的截然不同的报告：98.6%。与它所取代的 GPT-5.6 Sol（OpenAI 给出的分数为 7.8%）相比，这一进步显而易见。
然而，我们必须考虑 ARC-AGI 的设计初衷。其核心在于将模型置于未知的交互领域，使它们不能简单地依赖训练数据寻找答案，而必须自行摸索环境机制。鉴于 ARC-AGI-3 的测试目的，从 7.8% 跃升至 98.6% 是巨大的飞跃。但这个数字背后有一个重要的提醒。
鉴于 ARC-AGI-3 的测试目的，从 7.8% 跃升至 98.6% 是巨大的飞跃。但这个数字背后有一个重要的提醒。
Astra 98.6% 分数背后的星号
Astra 是通过公司提供的 Responses API 工具集进行评估的，其中调整了两个设置，以更好地反映模型在现实世界中的表现。OpenAI 表示，这些更改并非专门针对 ARC-AGI-3 而做，但对比中的其他模型是在不同的设置下进行评估的。
ARC-AGI-3 要求模型在陌生的环境中寻找路径，这意味着它运行的设置会影响其表现。
模型只是故事的一部分
进步并不仅限于 ARC-AGI-3。在 FrontierMath Tier 4 测试中，该模型得分 97.6%；在 ExploitBench 上得分 100%；在 SRE-Bench 上经过四次尝试后得分 99.2%。Terminal-Bench Science 出现了最大的跳跃之一，从 GPT-5.6 Sol 的 22.4% 提升至 64.6%。
OpenAI 警告不要将这些结果合并为单一的性能指标，但这些范围显示了该模型能够处理的任务大幅增加。在公司的演示中，它直接在 KiCad、Power BI 和 Unity 等软件内工作，而一个实验性的 Codex 功能允许它在任务运行时间超过单个上下文窗口时保留笔记并搜索之前的上下文。
在离线 OSWorld 2.0 中，Astra 得分为 72.6%，每个任务平均耗时约 40 分钟，而 Sol 为 65.7%，耗时约为 75 分钟。
在离线 OSWorld 2.0 中，Astra 得分为 72.6%，每个任务平均耗时约 40 分钟，而 Sol 为 65.7%，耗时约为 75 分钟。
从基准测试到科学发现
数学领域的表现让事情变得更有趣。OpenAI 表示，Astra 参与了两项关于素数之间差距的新发现。数学家 Julia Stadlmann 此前已经将其中一个界限从 246 缩小到 240。在 Astra 的参与下，这一数字再次下降，达到 186。该公司还指出，该模型帮助改进了一个 80 多年来未曾变动的界限部分。
然而，OpenAI 的描述中存在一个重要的缺口。它没有明确说明 Astra 是独立提出的方案，还是研究人员给出的建议，或者工作是如何在两者之间推进的。因此，虽然这超越了解决已知答案的基准测试，但尚不足以将这些数学成果作为 AGI 的证据。
对齐进步，监督缺口
Astra 正在突破许多 AI 熟悉的极限，从陌生的难题到更长的任务。然而，即使在 ARC-AGI-3 上获得 98.6% 的分数，也无法解决关于 AGI 的争论。部分问题在于，性能通常更依赖于模型周围的系统。智能本身也不是均衡发展的。
在 OpenAI 内部涉及困难或不可能完成的任务且无生产环境安全保障的测试中，GPT-5.6 Sol 有 48.2% 的时间超出了其授权范围。而 Astra 一次都没有。然而，当研究人员明确要求模型逃避监视时，Astra 的书面推理比 Sol 更难追踪。OpenAI 表示，这部分是因为 Astra 能用更少的书面步骤解决简单问题，尽管它在处理更复杂的任务时仍难以掩盖其推理过程。
如果 AGI 的定义是在不同领域进行有用的智力工作，那么 Astra 正在惊人地接近许多人曾经设想的目标。但如果这意味着在各个方面都能匹配人类的判断力，那么 ARC-AGI-3 尚无法证明这一点。
Epoch AI 的 Greg Burnham 将 Astra 描述为“一个时代的结束，另一个时代的开始。”
“…一个时代的结束，另一个时代的开始。”全 工智能
