GPT-5功能强劲但代码冗长复杂、质量差、技术债务高。需信任但严格验证。
译自：GPT-5’s Enhanced Reasoning Comes With a Steep Hidden Cost
作者：Prasenjit A. Sarkar
GPT-5 的到来代表着AI驱动代码生成领域的重大飞跃。它功能强大、性能卓越，能够解决复杂的编程任务。
然而，Sonar 最近对该模型能力进行的分析揭示了一个关键的悖论：GPT-5 增强的强大功能伴随着代码质量和可维护性方面高昂的隐藏成本，以及一系列新的隐性风险。
该报告评估了该模型在超过4,400个独特Java任务上的表现，结果显示，虽然 GPT-5 可以加速开发，但它也生成了大量复杂且不安全的代码。
这导致技术债务立即增加，如果管理不善，可能会削弱其所承诺的生产力提升。对于开发人员和团队负责人而言，这些发现重申了AI时代的一个关键准则：信任，但严格验证。
一个具有隐藏缺陷的新竞争者
为了建立基线，分析首先将推理能力最小化的 GPT-5（“GPT-5-minimal”）与其他领先的大型语言模型 (LLM) 进行了比较，包括 Anthropic 的 Claude Sonnet 4 和 OpenAI 自己的 GPT-4o，以进行公平比较。
结果显示，GPT-5-minimal 是一款顶级性能模型，功能正确性仅次于 Claude Sonnet 4，加权通过率平均约为 75%。但这种性能也伴随着缺点。
与表现最佳的 Claude Sonnet 4 相比，报告发现 GPT-5-minimal：
- 极其冗长：为解决相同任务，它生成的代码行数多出 30% 以上（总计 490,010 行）。
- 生成高度复杂的代码：其输出显示圈复杂度和认知复杂度显著增加，使得代码本身更难供人类开发人员阅读、审查和维护。
- 引入更多问题：对于每个正确解决方案，它产生了 3.9 个问题，几乎是 Claude Sonnet 4 的两倍。
积极的一面是，GPT-5-minimal 最强大的特点是安全性。它生成了所有测试模型中最低的漏洞密度（每 KLOC 或千行代码0.12个）和最低的绝对数量（60个）。然而，这一优点被可维护性方面的重大弱点所抵消，其代码异味密度很高（每 KLOC 约25个），并且倾向于犯与控制流相关的基本逻辑错误。这项初步分析揭示了一个模型，它虽然功能强大，但开箱即用就带有显著的质量成本。
推理的权衡：正确性的代价是什么？
GPT-5 的真正力量在于其推理能力，该能力可以分为四种模式：最小、低、中和高。对这些模式的深入研究揭示了一个清晰、一致的权衡：更高的推理能力提供了最佳的功能性能，但代价是生成了更多复杂的代码。
中等推理模式下的性能达到峰值，通过率约为 82%，是报告中评估的所有模型中最高的。这种设置似乎是“最佳点”，因为更昂贵的“高”设置并未在正确性方面带来进一步的改进。
但这种正确性是有代价的。
- 代码量巨大：为解决相同问题集，生成的代码行数从最小模式的 490,010 行膨胀到高模式的 727,000 多行。
- 技术债务增加：“每个通过任务的问题数”随着推理能力的提高而稳步上升，从最小设置的 3.9 个上升到高设置的 5.5 个。这意味着，对于它正确完成的每个任务，GPT-5-high 都会引入更多潜在缺陷供开发人员修复。
- 财务成本飙升：每次基准测试运行的成本从最小推理的 22 美元飙升至高推理的 189 美元，这主要是由内部令牌使用和生成的代码量巨大所致。
实质上，随着推理能力的增强，GPT-5 似乎会“过度思考”问题，产生功能正确但过于冗长且带来长期维护开销的解决方案。
用微妙的 Bug 替换明显的缺陷
也许分析中最关键的结论是，推理能力不仅消除了缺陷，还改变了它们的性质。更高推理模式用一类新的、微妙的、复杂的问题取代了常见、明显的错误，这些问题在标准代码审查中更难被发现。这会产生一种虚假的安全感，因为代码表面看起来更整洁。
随着推理能力的增强，GPT-5 在避免常见高风险漏洞方面的表现显著改善。例如，在更高的推理级别上，经典的“路径遍历和注入”缺陷几乎被消除。漏洞的严重性也有所下降，所有 GPT-5 模式生成的严重、导致应用程序中断的阻断级安全问题都远少于同类模型。
然而，取而代之的是，该模型引入了更细微的实现缺陷。“I/O 错误处理不足”和“证书验证遗漏”的发生率飙升。这给领导者带来了一个艰难的权衡：减少常见漏洞的风险，同时增加代码逻辑深处微妙错误的风险。
功能错误也出现了类似的模式。随着推理能力的增强，基本的“控制流错误” bug 发生率减半，这意味着模型犯的简单逻辑错误更少。
但这种改进被“并发/线程”错误几乎翻倍的现象所抵消。该模型尝试编写更复杂的代码引入了难以调试的复杂问题。尽管代码中的阻断性 bug 较少，但它却充满了细微的缺陷，这些缺陷可能导致生产环境中出现不可预测的行为。
以“信任但验证”的方式驾驭 GPT-5 时代
GPT-5 毫无疑问是AI 代码生成领域一股强大的新力量，但进步并非一帆风顺。数据表明，其令人印象深刻的功能提升是以技术债务的增加为代价的。
对于开发团队来说，危险在于自满。GPT-5 更高推理模式生成的代码乍一看会显得更整洁、更正确。它将减少开发人员习惯于发现的明显 bug 和漏洞。但表面之下隐藏着更多复杂的代码，其中充满了微妙、难以发现的问题。
这一新现实提升了健壮代码治理的重要性。严谨的自动化静态分析等实践成为必不可少的护栏，有助于管理复杂性、识别细微缺陷并控制这些高级 AI 模型所产生的技术债务。随着 AI 能力的不断发展，必须以“信任但验证”的方法来使用它们。
