GLM-5.2 vs 5.1 核心机能实测

3 阅读7分钟

GLM-5.2 vs 5.1 核心机能实测

背景

2026 年 6 月13日,智谱在 Coding Plan 里上线了 GLM-5.2。宣传点是 100 万 token 上下文窗口(5.1 是 20 万),据称综合 Coding 能力对齐 Claude Opus 4.6。

我们的 AI Agent 工作台同时接入了 OpenClaw 和 Claude Code,两边都把主力从 GLM-5.1 切到了 5.2。切之前问自己一个问题:到底什么变了?

没有 benchmark 报告,没有官方对比。那就自己测。

测试方法

6 个维度,30 个场景,两模型盲评对比:

维度场景数测什么
代码生成1LRU Cache 完整实现
逻辑推理1经典数学悖论
创意写作2微小说 + 中文科普
指令遵循5格式约束、多步指令、否定、角色扮演
工具调用5+10工具调用正确率 + 工具选择准确率
长上下文检索550 token 跨文件精确/语义/否定检索

每个场景给两个模型相同的 prompt,相同温度(0.5-0.7),输出后做 A/B 盲评。注意:N=1 采样,以下结论仅供参考。

结果

一、代码生成(LRU Cache)

指标GLM-5.1GLM-5.2
耗时34.6s34.8s
输出长度1844 字1436 字
代码正确性
额外亮点自带 unittest 框架

两模型都给出了正确的 dict + 双向链表 + Lock 实现。5.2 的代码更紧凑(少 22% 字数但核心逻辑完整),且自带 unittest import —— 对"包括 3 个测试用例"的要求理解更接近工程实践。

结论:代码生成 ≈ 持平。5.2 微优(更工程化)。


二、逻辑推理

经典题:"100 人,99% 男性,要让男性变成 98%,多少男性离开?"

指标GLM-5.1GLM-5.2
耗时13.5s17.3s
答案正确✅ 50 人✅ 50 人
推理链完整完整 + 验证回溯

两模型都正确,推理步骤几乎相同(女性人数不变 → 反推总人数 → 计算离开数)。5.2 多了一个显式验证段,但核心推理无差异。

结论:逻辑推理 ≈ 持平。


三、创意写作

测试 A:微小说《最后一个人类 AI 审核员的第一天》

这是 5.2 最令人意外的短板。

GLM-5.1 输出了一段 437 字的完整微小说,有双层叙事结构:表层是审核员核查 AI 内容,暗线是系统在生成虚假任务("今天根本没有第二条" 的反转)。节奏、细节、反转全部在线。

GLM-5.2 输出了 317 字,概念很好("尝起来像星期四" 这句 AI 瑕疵写得妙),但整体太短没展开,反转"你是训练数据"来得突然,叙事完成度明显低于 5.1。

测试 B:用 100 字解释幸存者偏差

两模型都用了沃尔德轰炸机经典案例,都正确。5.2 多了一句"别只盯着成功案例"的号召性结尾,但 5.1 的表述更精炼。差距不大。

结论:创意写作 5.1 > 5.2。5.2 的思考模式过重,压制了直觉创意写作。


四、指令遵循(最出乎意料)

测了 5 类严格指令约束:

场景5.15.2
Markdown 表格格式✅ 快✅ 慢
编号列表(4 约束)✅ 完美⚠️ 编号后缺空格
多步指令(含分隔符)✅ 三步完整❌ 缺最后一个分隔符
否定约束(禁用词)❌ 首次空输出
角色扮演(年代约束)✅ ≈

5.1 在 5 项指令测试中赢了 4 项,5.2 赢 0 项。

最突出的是:

  • 多步指令:要求三步之间用 ---STEP--- 分隔,5.2 缺了最后一步的分隔符
  • 否定约束:要求不用"强大"、不用感叹号、不用"您"、必须含数字。5.2 首次调用 content 为空(reasoning 消耗了全部 token,6839 字思考 → 0 字输出)。加大 max_tokens 后重试才通过

这不是 5.2"能力差",而是思考模式过度激活——在简单约束任务上花了太多 token 在 reasoning,挤占了输出空间。

结论:指令遵循 5.1 > 5.2。5.2 的过度思考在约束密集型任务上是负向效应。


五、工具调用

分两层测试:

第一层:工具调用正确率(5 场景)

场景5.15.2
简单调用(查北京天气)✅(快 25%)
多工具并行(上海+东京)
模糊输入("查那儿的天气")✅ 反问✅ 反问
不该用时("什么是天气")✅ 不用✅ 不用
JSON 格式正确性✅(快 51%)

两模型 100% 通过。  所有 tool_calls 的 JSON 参数都合法,无尾逗号、无单引号等经典错误。模糊输入和不适用场景都正确拒绝。

第二层:工具选择准确率(10 场景)

这是唯一产生实质性分叉的维度。给两模型 7 个可用工具,10 个典型代理场景,判"选什么工具"。

统计GLM-5.1GLM-5.2
正确率9/1010/10
唯一失误S3:搜索历史讨论

S3 场景是"找一下之前我们讨论过的 Hippo Pipeline 的内容"。5.1 选了通用方案 memory_search,但 5.2 引用了项目规则文档("按 AGENTS.md §3 强制规则,记忆搜索用专用脚本,禁止使用 memory_search,命中率 ~0%"),选择了项目自定义的 tools/com_v62_granularity.py 脚本。

结论:工具选择 5.2 > 5.1。5.2 在规则内化上更优——这对 Agent 工作流是结构性优势。


六、长上下文检索(50K token)

给两模型塞入 6 个工作区文档(MEMORY.md、TOOLS.md、HEARTBEAT.md 等,共 ~5,0000 token),问 5 个问题:

  • 精确检索("最近一次熔炉编号")
  • 语义检索("L3 红线规则")
  • 中等位置检索("第 97 条规则")
  • 跨文件关联("Crit XX权在哪些文件")
  • 否定检索("忒弥斯喜欢红色吗"——诱导陷阱)

两模型 100% 全部正确。零失误,零幻觉。

都正确识别了"3 个文件提到 Crit 一票否决权",都不被"红色"诱导,都准确指出颜色为 #0B1026 / #B7A56B

结论:50K token 级别长上下文检索 ≈ 持平。5.2 的 1M 窗口优势在此场景未体现(上下文还不够长)。


综合评分

                    5.1     5.2     结论
代码生成              ≈       ≈      持平,5.2 更工程化
逻辑推理              ≈       ≈      持平
创意写作              >       <      5.1 明显更优
指令遵循              >       <      5.1 明显更稳
工具调用正确率         ≈       ≈      持平
工具选择准确率         <       >      5.2 胜(规则内化)
长上下文检索           ≈       ≈      持平

战绩:2 胜 2 负 3 平。升级了,但不代表全面升级。

三个反直觉发现

1. 升级不是线性进步。

GLM-5.2 在工具选择准确率和代码工程化上确实更优,但在创意写作和指令遵循上反而退步了。新一代模型不一定在所有维度上都击败旧模型。

2. 过度思考是真实存在的退化模式。

5.2 的最大差异化卖点(更强的推理/深度思考)在简单约束任务上反而成为累赘。否定约束测试中 6839 字 reasoning → 0 字输出的极端案例,说明"想太多"在 Agent 工作流中不是优点——它增加了延迟、消耗了 token 预算、降低了输出稳定性。

3. Agent 场景的核心能力不是速度,是规则内化。

最大惊喜是 5.2 在 S3(工具选择)上的表现——它不是"更聪明",而是"更听话"。它主动引用项目自定义规则来选择工具,而 5.1 选择了通用的"正确但错误"的方案。在构建 AI Agent 时,记住并遵守你的项目规则比什么都重要。

我们的选择

综合评测后,我们把 GLM-5.2 设为了 OpenClaw 主力模型。

不是因为它在大多数维度上赢了,而是因为:

  • 工具选择准确率高那 10% 是 Agent 工作流的生命线
  • 100 万 token 上下文窗口是结构性优势(虽然本次没测到极限)
  • 创意写作和复杂指令场景可以 session 级降级到 5.1

这不叫最优模型,这叫最适配模型。  如果你的场景以长篇文字创作为主,5.1 可能对你更合适。如果你的场景是 Agent 工具链调度,5.2 值得换。


测试日期:2026-06-13 | 模型:GLM-5.1 / GLM-5.2 via 智谱 Coding Plan | 测试环境:OpenClaw Gateway + Claude Code | 样本量:N=1(结论不统计显著,仅供参考)