AI要开始自己改进自己了?连Anthropic都说该踩刹车

32 阅读4分钟

一篇文章在HackerNews上炸了。

352赞,468条评论,吵翻了。

发布者不是媒体,不是自媒体——是Anthropic自己。就是做Claude的那家公司。

文章标题翻译过来是:"当AI开始构建自身:我们在递归自我改进方面的进展"

然后Anthropic说了一句让整个AI圈震动的话:

全球顶级AI实验室应该考虑放慢甚至暂停前沿AI开发。

做AI的公司,让大家别做太快了。

这到底是怎么回事?


先解释一个概念:递归自我改进

听起来很学术,其实很好懂。

现在的AI是人训练的。人收集数据、设计架构、调参数。AI变强靠的是人的努力。

递归自我改进是指:AI自己改进自己,然后改进后的AI更强了,再继续改进自己,不断循环。

就像一个学生不仅能学习,还能自己编教材、自己设计考试、自己给自己打分、自己调整学习方法——然后越来越强,越来越快,人类老师完全跟不上。

这不是科幻。Anthropic说:还没发生,但可能比大多数机构准备好的时间更早到来。

递归自我改进循环


Anthropic到底说了什么

这篇文章的作者是Marina Favaro(Anthropic研究院负责人)和Jack Clark(政策负责人)。

核心观点三句话:

Anthropic核心观点

1. 递归自我改进还没实现,但不是不可能。

目前AI还做不到真正意义上的"自己改进自己"。但趋势在加速。AI已经能写代码、能调试、能优化——离"改进自身"只差最后几步。

2. 一旦实现,人类可能来不及反应。

自我改进的特点是指数级加速——今天改进1%,明天就能改进2%,后天4%……等你发现"好像不太对"的时候,可能已经晚了。

3. 所以现在就要准备"刹车机制"。

Anthropic提议:全球AI实验室达成协议,保留"放慢或暂停"前沿开发的选项,并且要有验证机制——确保大家都在遵守。


为什么是Anthropic自己说这话

这里有一个很微妙的背景。

Anthropic刚刚完成了一轮融资,估值接近1万亿美元。年化收入从2025年底的90亿涨到了500亿,而且正在准备上市。

它是目前最赚钱的AI公司之一。

所以当它说"该踩刹车了"——要么是真的看到了什么让他们害怕的东西,要么是一种竞争策略("我们领先了,希望大家都慢下来")。

HackerNews的468条评论里,这两种解读几乎各占一半。


和普通开发者有什么关系

你可能觉得"递归自我改进"离自己太远了。但其实你每天都在经历它的"低配版"。

想想你用Claude Code的过程:

  • Claude Code帮你写代码
  • 你把反馈告诉它,它改进输出
  • 改进后的输出让你更信任它,给它更多权限
  • 更多权限让它做更多事,输出更好
  • ……

这不就是一个"人在回路中"的自我改进循环吗?

只不过现在循环里还有"你"。Anthropic担心的是——某一天"你"被拿掉了,AI自己跑这个循环。


我的3个想法

该关注,但不必恐慌

递归自我改进是一个真实的技术趋势,但它还没发生。从"AI能写代码"到"AI能改进AI的架构",中间还有很长的路。

但速度确实在加快

去年这个时候,AI还不能可靠地完成一个完整项目。现在Claude Code能一个人搞定一整套系统。12个月的变化超过了之前5年。

这个加速趋势本身就值得认真对待。

对开发者来说,最实际的影响

不是"AI会取代你"——而是你需要更快地学会和AI协作

因为AI能力的增长速度,可能快于你学习新技能的速度。现在还能靠"人在回路"保持优势的窗口,可能比你想的短。


最后

Anthropic是目前最赚钱的AI公司之一,它却说"我们应该考虑踩刹车"。

不管动机是什么,当造武器的人开始说"这东西可能太危险了"——你至少应该认真听一下。