少聊几轮就搞定，AI 编程能力能被量化吗?

卷无止境
119 阅读5分钟

Artificial Analysis（下称 AA）的编程智能体指数记录了每个任务的轮次、token 和耗时。METR 的时间跨度指标衡量模型能独立搞定多长的任务。AA 的综合智能指数则给出模型的整体水位。下面逐个拆开看。

🧭 AA 的两把尺子

AA 是一家独立评测机构，模型都由他们自己跑分，不依赖厂商自报。

综合智能指数

这是一个把 10 项评测合在一起的综合分，评测内容包括 Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDPval-AA、AA-Omniscience、AA-LCR 等。覆盖面从数学、科学、编程到长上下文推理。页面当前的榜首是 Claude Opus 5.5（Max 档）58 分，Claude Sonnet 5.5（Max 档）56 分紧随其后。AA 还会给出每个任务的 token 用量和成本，所以你能看到一个模型是靠聪明还是靠烧 token 拿到的分数。

编程智能体指数

AA 指出，开发者选的其实是模型加工具外壳（harness）的组合，比如 Claude Code、Codex、Cursor CLI，所以它测的就是这种组合。它由三项基准构成。

  • SWE-Bench-Pro-Hard-AA，150 个前沿模型也觉得棘手的真实编程任务。
  • Terminal-Bench v2，84 个终端智能体任务，范围从系统管理到密码学、机器学习。
  • SWE-Atlas-QnA，124 个关于代码行为和问题根因的技术问答。

🔍 最接近少轮次的数据

AA 的发布帖里有一条很对症的发现。Opus 4.7 完成任务所需的轮次（turns）明显少于其他所有模型，Kimi K2.6 的轮次最多。 这两者在单任务耗时上差了很多，Opus 4.7 在 Claude Code 中约 6 分钟，Kimi K2.6 约 40 分钟，相差 7 倍以上。

这里要澄清一个容易混淆的点。AA 说的轮次，是智能体自己读文件、跑命令、改代码的循环次数，不等于你和它来回对话的次数。不过两者逻辑相通，一个模型第一次就判断对、少走弯路，内部循环少，需要你纠偏的机会也往往更少。这是我的推断，榜单上没有直接证据。

下表摘出了几组有代表性的数据。

组合指数得分单任务成本其他特征
Opus 4.7 + Cursor CLI61未单列并列榜首
GPT-5.5 + Codex60约 2.21 美元约 280 万 token/任务
Opus 4.7 + Claude Code60未单列约 170 万 token，约 6 分钟，轮次最少
GLM-5.1 + Claude Code53约 2.26 美元开源最高，约 480 万 token，部分任务陷入循环
Gemini 3.1 Pro + Gemini CLI43未单列明显低于其综合智能指数的位置
Composer 2 + Cursor CLI48约 0.07 美元最便宜

这张表最有意思的地方是，分数接近的组合，token、成本和耗时可以差出好几倍。只看得分不够，还得看效率。另外要留意时效，这份编程指数发布时的领跑者是 Opus 4.7 和 GPT-5.5，而综合指数页面如今已经更新到 Opus 5.5 一代，两份数据并非同一时间点。

⏱️ METR 的时间跨度，换个角度看独立完成度

如果你关心的是这个模型能一口气自己干多大的活，METR 的时间跨度指标更合适。它的思路很朴素，让人类专家做一批任务并记录用时，再看 AI 能以 50% 的成功率完成多长耗时的任务。比如两小时的时间跨度，意思是模型能在约一半的概率下完成人类要花两小时的任务。

METR 的研究同时也算了 80% 成功率下的时间跨度，用来检验 50% 这个选择有没有扭曲长期趋势。 关于增长速度，不同来源的说法有出入。早期研究总结的是 50% 与 80% 的自主时间跨度大约每 6 到 7 个月翻一倍， 而一个基准浏览站给出的近期说法是大约每 3 个月翻一倍。 我的理解是，近期的增长在加速，具体数字取决于统计的时间窗口。

image.png

⚠️ 这些指标的局限

指标有用，但别当圣经。社区里对 AA 综合指数的批评很直接，有用户指出一个 27B 的小模型在这个指数上超过了 DeepSeek v4 的 Flash 与 Pro、GPT-5.2、Opus 4.6 甚至 Sonnet 5，于是质疑它到底在衡量什么。 这是单个帖子的观点，带着情绪，不能当结论，但它提醒我们一件事，综合分是把多种能力压成一个数字，压缩必然丢信息。

放到你的场景里，有三点值得记住。

  • 综合指数高，不等于在你的代码库里轮次少。编程智能体指数更对口。
  • 同一个模型换工具外壳，成绩会变。Gemini 3.1 Pro 在 Gemini CLI 里的表现，就明显低于它在综合指数里的位置。
  • 榜单任务多是定义清晰的题目，真实项目里需求含糊、上下文庞杂，轮次会更多。

💡 实操建议

想量化自己的体感，最可靠的办法是在榜单之外自己记账。拿十个你真实遇到的任务，分别用不同模型跑，记录三样东西，需要你介入纠正的次数、总 token 或费用、最终是否通过测试。这其实就是把 AA 与 METR 的思路搬到你自己的项目上。

如果只想快速参考，优先看 AA 的编程智能体指数，它有得分、轮次、成本、耗时的完整维度。想判断模型的长任务潜力，就看 METR 的时间跨度。综合智能指数用来了解整体水位，别拿它单独做选型依据。

📚 参考资料

avatar
文章
阅读
粉丝