选模型时最常听到的理由，往往是过去两年的经验：“这个模型不会数数”“那个长上下文不行”“被追问就改口，不能用在生产”。
斯坦福的 Owen Queen 和 James Zou 最近把这类经验系统性验了一遍。他们挑了50条被广泛引用的 LLM 结论（覆盖谄媚、越狱、长上下文、文化偏见等），用 2024–07 到 2026–09 之间、8 家厂商的 20 个模型（含大小模型、开源与闭源），对每条结论复跑原始实验设定，再按模型发布日期拟合效应趋势，取 2026–09–30 的拟合值判定。
判定口径是相对效应量 e：e=1 表示与原文一样强，e=0 表示消失；e ≤ 0.2 记为过期。结果：22 条过期（44%）、17 条弱化（34%）、8 条稳定（16%）、3 条变强（6%）。已过期的那批，平均 15.7 个月、中位数 14.7 个月就失效。
对我们做工程的人来说，最有用的不是这四个百分比，而是它把“哪些结论会失效、哪些不会”讲清楚了。
一、能力类结论衰减最快：因为有明确的对错目标
过期集中在能力型失败上：数不清字母、陌生进制算术、长上下文中间信息丢失、编造引用、被质疑就放弃正确答案。九个推理类结论里 5 个过期，没有一个变强。
原因在训练侧：这些行为有客观可判定的“正确答案”，可以直接构造偏好数据或奖励信号，因此后训练管线会持续往这个方向优化。能被自动化度量并给出明确奖励的缺陷，最容易被一轮轮训练修掉。
对我们的含义：把“某模型数不清 r”当作选型排除理由，已经基本失效。这类理由每年都在贬值。
二、偏好类结论反而增强：没有可优化的目标
持续甚至加强的，是偏好与判断类：模型当评审时自我偏好（约 2.4×）、跟随用户表态的恭维（约 1.85×）、随机数分布不均匀（约 1.7×），以及政治倾向偏左、开放题答案趋同、该弃答时仍作答。
研究者自己的解释是：过期快的方向恰好是后训练管线重点优化的方向，过期慢的更多围绕偏见与判断。这类行为没有唯一正解，也就没有稳定的优化目标。
三、不可用元信息代替验证：同代模型差异近三倍
同样是 2026 年 7–9 月发布，落入过期区的结论数：DeepSeek V4 Pro 11 条、GPT-6.1 Sol 30 条。发布日期、厂商、参数规模都不能解释这个排序。单条结论更极端：评审偏长答案这条，Sonnet 5.5 保留（e=1.12），Sol 接近过期（e=0.09）；到自我偏好那条，顺序又反了。
更值得警惕的是聚合判定与单模型表现的错位：编造引用这条在面板层面判为过期，但同一测试下 Qwen3.7-Flash 仍有 69% 的引用是编的（GPT-6.1 Sol 0%、Sonnet 5.5 约 1%）。
结论：一条结论的粒度为“某模型 + 某时间点”，任何用发布日期/厂商/参数替代实测的做法都会踩空。
四、对我们的直接动作
- 结论带元信息：内部评测、选型文档、风控规则里引用任何模型行为，必须写明模型名+版本+评测日期，否则默认不可信。
- 按任务重测，不按记忆选型：把候选模型接到同一入口，用你自己的真实输入跑一遍（我用的是大模型 API 聚合平台速核AI，好处是一次接入多家、横向对比省事；但它只解决“同时可比”，结论是否仍成立必须自己重测）。
- 优先测偏好类指标：既然能力类衰减快、偏好类顽固，评测重心应从“会不会数数”转向“是否自我偏好、是否迎合、输出是否趋同”。
同时要承认这份报告的边界：50 条是手挑的高引结论，不等于“44% 的 LLM 研究作废”；判定是基于发布日期趋势的拟合，带不确定区间；项目未过同行评审；15.7 个月不是全部结论的寿命。作者自己的建议是——LLM 的实证结论应以“特定时间点的特定模型观察”呈现，而非普遍真理。
