【新智元导读】 「GPT 之父」刚刚被曝从 OpenAI 离职!他是 GPT-1、GPT-2 的一作,是 Ilya 在演讲中感谢过的人,被很多人称为 ChatGPT 背后的真正先驱和无名英雄。在推动了预训练时代,眼看着 OpenAI 即将接近 AGI 的时候,他忽然选择离开。
刚刚,「GPT 之父」Alec Radford 被曝离职 OpenAI!
谁也没想到,OpenAI 圣诞 12 日的特别活动接近尾声时,居然迎来这样一枚炸弹。
OpenAI 这次失去的,是一位元老级的骨干成员,是真正开创 ChatGPT 这一迄今为止最大 AI 突破的人。
2016 年加入 OpenAI 后,他不仅是 GPT-1、GPT-2、CLIP、Whisper 的一作,还为 GPT-3、GPT-4、DALL-E 2/3 等技术突破提供了支持,是 OpenAI 多项美国专利的发明人。
左右滑动查看
他在机器学习和深度学习领域非常高产,论文引用量高达 19 万,多篇入选 NeurIPS、ICLR、ICML 等著名会议,其合作者包括 llya、lan Goodfellow 等知名学者。
根据据 The Information 报道,就在周四,Radford 宣布离职,即将开展独立研究。据悉,他之后计划同时和 OpenAI 以及其他 AI 开发者合作。
OpenAI 研究负责人 Mark Chen 表示,「我们对 Alec 及其贡献深表敬意和感谢,并期待在他探索独立研究的同时继续与他合作项目。」
德扑之父、OpenAI 高级研究科学家曾这样评价道,「OpenAI 真正开始崭露头角,是从聘请了一位当时名不见经传的研究员 Alec Radford 开始的」。
也有人给出了意味深长的发问:如果 OpenAI 真的处于 AGI 的边缘,为什么这些人还要离开?
真正的「ChatGPT 之父」
2016 年,对于 OpenAI 来说,注定是一个转折点。
23 岁的传奇 AI 研究员 Alec Radford 选择加盟,这个决定不仅仅改变了他的职业生涯,更为 AI 的发展掀开了崭新的一页。
有人说,Radford 扮演的角色,如同谷歌创始人拉里佩奇发明了 PageRank。
他是一位内敛、低调的研究者,几乎很少露脸,也从未接受过任何采访。
此前,Radford 曾透露自己最大兴趣是,让神经网络能够与人类进行真正的对话。
入职 OpenAI 后,他开启的第一个实验是,用 20 亿条 Reddit 评论训练预言模型,没想到却以失败告终。
当时,总裁 Greg Brockman 鼓励到,没关系,再试试吧。
由于受限于算力,Radford 只能在单一领域中进行实验。接下来,他选择了亚马逊电商平台评论,尝试让语言模型简单预测,并生成和用户评论的下一个字符。
看似平凡的选择,却带来了意外的收获:模型不仅能预测评论下一个字符,还能自主判断评论的情感倾向(积极 / 负面),甚至根据要求生成不同风格的评论。
正是这个突破,引起了 OpenAI 前首席科学家 Ilya 的注意。他接着鼓励 Radford 进一步扩展研究范围——在亚马逊评论数据之外再次尝试。
2017 年,Transformer 奠基之作出世,让 Radford 的研究迎来质的飞跃。
他联手 Ilya 一起,创造了共有 1.17 亿参数的模型,并将其命名为「Generative Pre-trained Transformer」(GPT)。
这个模型在 7000 本未出版的学习书籍、Quora 问答,以及各类考试文章中,展现出了前所未有的预言理解能力。
更令人惊艳的是,GPT 还具备了零样本学习的能力,在未经训练的领域,同样拥有专业级水平。
这种超出预期的能力,让团队异常兴奋,同时引发了他们对 AI 方向的深度思考。
有趣的是,当初代 GPT 问世时,Radford 和团队选择了一种低调的方式,将论文直接发布在 arXiv 上,并非提交各大顶会。
a16z 著名风投家 Marc Andreessen 曾这样描述道,「在 2018 年 - 2019 年之间,他隐藏在人工智能的角落,默默地在自己的领域潜心研究」。
正是这份坚持,最终改变了人工智能的发展轨迹。
这正是从这一刻起,传奇 GPT 系列开启了。
OpenAI,正在失去核心员工
Alec Radford 的离开,如同一枚重磅炸弹,炸得网友们惊愕不已。
有人说,这位元老对于 OpenAI 和整个 AI 研究的影响被低估了。甚至可以说,他的影响力完全不亚于 Ilya。
就在 Ilya 几天前的 NeruIPS 2024 演讲中,他还特别提到,感谢自己的前同事 Alec Radford
因为他不仅是 GPT 的主要作者,还可能是公司每个重要研究方向的带头人。
UC 伯克利 AI 博士 Dan Hendrycks 表示,自己排名的 AI 学术影响力榜单中,何恺明和 Alec Radford 是妥妥的 TOP 2。
CS 教授、DeepMind 高级顾问 Jeff Clune 表示,我们应该重新为 Alec Radford 正名。
他是 AI 研究领域最重要、但却没有知名度的人,被低估的人,在重大进步后隐身的人。
Clune 教授认为,Alec Radford 应该作为现代生成式 AI 之父被载入史册。
许多科学家和研究者表示同意:没错,Alec Radford 是真正的 MVP。
好在他的离开虽然对 OpenAI 是个损失,但他未来肯定不会缺 GPU,如果做一些开放研究的话,整个世界都会受益。
也有人猜测道,每当 OpenAI 发布重大模型前后,总会有人离开。比如高级语音模式 Her 发布后,CTO Mira Murati 就离职了。
按照这个规律,或许 GPT-4.5 明天就要发布。(对于 GPT-4.5 的发布时间,此前也有很多类似的预测)
对于 Alec Radford 的离开,很多人表示理解。
一旦初创公司经历最初的飞速发展期后稳定下来,选择离开公司是很正常的。
他们有人脉、有履历,可以在任何地方找到想要的工作。甚至还能创办自己的公司,拿到数十亿美元的融资。
讽刺的是,就在一年前,有网友表示 OpenAI 的分裂不会对 AI 未来的轨迹有多大影响,因为成果背后真正的天才是像 Ilya 和 Alec Radford 这样的科学家。
「只要他们还在,OpenAI 就不会有任何影响。」
但如今,OpenAI 的根基正在动摇。
总结一下,OpenAI 在 2024 年已经流失多位元老。
包括首席技术官 Mira Murati、研究负责人 Bob McGrew,联创兼研究员 John Schulman,研究副总裁 Barret Zoph,安全系统团队负责人 Lilian Weng,联创兼前首席科学家 Ilya Sutskever,前安全负责人 Jan Leike,现在又多了 Aled Rad。
可以预见,接下来这份离职名单还会不断壮大。
参考资料: