Karpathy对AGI持悲观态度，认为AI智能体尚需十年发展。他强调AI当前瓶颈，并创办Eureka Labs和nanochat项目，通过教育增强人类对AI的理解和构建能力。
译自：OpenAI Co-Founder: AI Agents Are Still 10 Years Away
作者：David Cassel
当 OpenAI 联合创始人 Andrej Karpathy 发言时，甚至 Elon Musk 都会做出反应。
Karpathy 刚刚与播客主持人 Dwarkesh Patel 录制了一段长达两个半小时的采访。他们广泛的讨论挑战了传统观念，Karpathy 指出了通往通用人工智能 (AGI) 之路上存在的障碍，并认为我们距离 AI 智能体还有 10 年的时间。
Karpathy 开门见山地说，“这个行业存在一些过度预测”。随后，他在 X.com 上详细阐述了自己的预期：
“基本上，我的 AI 时间线比你在旧金山人工智能家庭聚会或你的 Twitter 时间线上看到的要悲观 5-10 倍，但对于人工智能怀疑论者和否定者的日益增多来说，我仍然相当乐观。”
社交媒体上的讨论不可避免地继续着——始于 Kaparthy 的论断，即早期教育应该包括他所学习的物理学，因为它在“启动”大脑方面有着独特的好处。在播客中，他曾说过，每当面对一个新系统时——无论是 AI、物理学，还是介于两者之间的东西——“我都在努力寻找，什么才是重要的东西……？我如何才能将其简化？”
回到 X.com，Elon Musk 向 Karpathy（他曾是 Tesla 的 AI 高级总监）发起挑战，“来一场 AI 编程比赛，或者你喜欢的任何形式的 Andrej vs Grok 5 的竞赛，就像卡斯帕罗夫 vs 深蓝一样？”
但就在那一刻，Musk 发现，当谈到 AI 时，Karpathy 确实有着乐观的一面。
“我宁愿使用并与 Grok 5 协作，而不是与它竞争。”
挑战 AI 行业预测
Karpathy 曾于 2017 年至 2022 年领导 Tesla 的自动驾驶工作，因此他经历过 AI 研究的前沿。因此，当播客主持人 Patel 追问他 AI 智能体需要十年才能克服的瓶颈是什么时，Karpathy 回答道：“实际上是让它能正常工作！”
Karpathy 指出，现在 Patel 并没有用 Claude 或 Codex 来取代员工，因为“它们根本无法工作。它们没有足够的智能。它们的多模态能力不足，无法进行计算机操作等等……它们没有持续学习能力。你不能只是告诉它们一些事情，它们就会记住。它们的认知能力不足，就是无法工作。解决所有这些问题大约需要十年时间。”
OpenAI 联合创始人 Andrej Karpathy（左）与播客主持人 Dwarkesh Patel 讨论了 AI 智能体的现状。
为什么是十年？Karpathy 告诉 Patel，这“有点是我的直觉，也是对我自己在该领域经验的一些推断……我觉得这些问题是可解决的，可以克服的，但它们仍然很困难。如果我只是平均一下，对我来说感觉就是十年。”
他仍然预测将会有一些改变整个领域的巨大转变，“因为它们几乎以惊人的规律性出现。”
简而言之，Karpathy 说，“我仍然觉得有很多工作要做”——但他几乎立刻补充说，“它们会变得更好，这将是美好的。”
所以 Karpathy 显然是那种“既是又不是”的人——在 X.com 上，他对我们目前的状况做了清晰的总结：“在我看来，我们同时 1) 近年来在大型语言模型 (LLM) 方面取得了巨大进展，而 2) 仍有大量工作待完成（繁重的工作、集成工作、连接物理世界的传感器和执行器、社会工作、安全保障工作（越狱、投毒等），以及在拥有一个你宁愿雇用它而不是人类来完成世界上任何一项工作的实体之前，需要完成的研究。”
“我认为总体而言，十年对于 AGI 来说应该是一个非常乐观的时间线，”他说。他还补充道，“只是与目前的炒作相比，才不觉得如此。”
AI 智能体的十年之路
回顾他领导 Tesla 自动驾驶工作的经历，Karpathy 在播客中说他曾经历过“非常大的演示与产品之间的差距——演示非常容易，但产品却非常困难。”（尤其是在错误可能致命的领域。）
他甚至说，即使在今天，一些自动驾驶汽车也配备了远程操作员，所以“人工参与的程度可能比你想象的要多……在某种意义上，我们并没有真正移除人，而是将他们转移到了你看不到的地方。”
然后，假设我们进入了一个拥有 AGI 的世界，Karpathy 在 X 上指出，“在我看来，这种系统的普及仍将需要更多时间（例如，像计算/互联网中看到的基本技术普及，计算限制，物理世界的传感器/执行器限制，社会和法律方面）。”
Karpathy 认为所有这些都应该影响我们对 AI 在生活中扮演角色的时间线预期。
弥合演示与产品之间的差距
“我认为这会奏效，”Karpathy 在播客中说。“我认为它是可解决的。我之所以听起来悲观，只是因为当我刷我的 Twitter 时间线时，看到所有这些对我来说毫无意义的东西……其中很多老实说只是为了募资。”
在播客中，Karpathy 甚至推测了超级智能会是什么感觉——“本质上是自动化”，但“极其陌生”。因此，关于真正自主智能体这种可能性的担忧，也是他认为最可能的结果。他将其描述为“这种逐渐失去对正在发生的事情的控制和理解”——一个我们“将所有这些东西层层叠加到各个地方，而越来越少的人能够理解”的世界。
Karpathy 说，如果他要写科幻反乌托邦小说，那会是“多个相互竞争的实体逐渐变得越来越自主。其中一些失控，另一些则将其击退。这是我们委托给它们的完全自主活动的大杂烩。我觉得它会是那种味道。”
Eureka Labs：一种 AI 原生的教育方法
但 Karpathy 对这些担忧有自己的答案。2024 年 7 月，他宣布成立教育公司 Eureka Labs，“一所人工智能原生的新型学校”。
Karpathy 说，仅仅通过纯粹的 AI 研究，“我不知道我是否能独特地改进它。”
所以现在他找到了一个方法来解决那些关于人类会被 AI“剥夺权力”的担忧。
他说，“我希望人类在未来能够过得好”，并补充道，“对我来说，这可以通过教育来实现。”
Eureka Labs 目前正在构建其第一个关于 AI 的课程 — LLM101n。10 月，Karpathy 发布了 nanochat，“一个在单一、简洁、最小、可修改、依赖轻量级的代码库中实现的类似 ChatGPT 的大型语言模型的全栈实现。”
Karpathy 在发布当天解释道：“你启动一个云 GPU 服务器，运行一个脚本，最快在 4 小时后，你就可以在一个类似 ChatGPT 的网页用户界面中与你自己的大型语言模型对话。”
在 X 上，Karpathy 进一步阐述了 nanochat。“我想玩点花样，”他写道，“所以 nanochat 现在称我为 Andrej Karpathy 国王（lol），这只是为了说明这是一个巨大的空白画布——你可以完全任意地将身份、知识或风格注入到你的大型语言模型中。”
Nanochat 项目及其影响
10 月发布的 nanochat 大型语言模型实现将是 Eureka 首个课程的重要组成部分，即其“毕业设计”项目。其 GitHub 仓库中引用了诺贝尔物理学奖得主 Richard Feynman 的一句名言：“我无法创造的东西，我就不理解。”
在播客中，Karpathy 将 nanochat 项目描述为“构建通往知识的坡道……它是一个超级简化的全栈项目。如果你把这个作品交给别人，他们看完后会学到很多东西。
“它会给你很多我所谓的每秒尤里卡时刻，也就是每秒的理解。这正是我想要的。”（也许这就是公司取名 Eureka Labs 的原因。）
Eureka Labs 首个（开发中）AI 课程的 GitHub 仓库截图。
Karpathy 说，即使在 AI 做出许多决定的未来，“我认为会有一个过渡期，我们将参与其中并推动事物发展——如果我们理解很多东西的话。”（尽管他补充说，“从长远来看，这可能会消失。”）
但具有讽刺意味的是，在当下 Karpathy 发现，今天的“氛围编程”AI 工具一直误解他为 nanochat 编写的代码，“因为它们对互联网上所有我没有采用的典型做法记忆太多。”
他还指出，AI 编码工具也“过于防守”，“它们会创建所有这些 try-catch 语句”。而且，他补充说，“它们多次使用了已弃用的 API。”额外的工作意味着这种体验并没有带来生产力的净增长。
他说，这可能就是为什么 Karpathy 预测 AI 普及需要更长时间的原因。如今，即使对于 AI 的杀手级用例，“它们在编写从未写过的代码方面也不是很好……而这正是我们在构建这些模型时试图实现的目标！”
“我觉得这个行业跳跃太大，试图假装这很棒，但事实并非如此。这很糟糕。”
“他们没有接受现实，也许他们只是想募资之类的。”
