清华物理系传奇特奖得主 Yao Shunyu,正式投身大模型,加入 Anthropic 的 Claude 团队。
有意思的是,另一位 Yao Shunyu,今年刚刚加入隔壁 OpenAI。
注意别搞混哦,前者是学物理的姚顺宇,后者是学计算机的姚顺雨。(手动狗头)
这次加入 Anthropic 的姚顺宇,此前就可谓是名声大噪,本科期间就在凝聚态物理领域做出突破性贡献。
具体而言,他首次在国际上给出了关于非厄米系统的拓扑能带理论,并准确预测了相关现象。
此外,他还定义了两个新的物理概念,这些工作都发表在了世界物理顶级期刊 Phys. Rev. Lett. 上。
其研究的含金量之高,甚至有位 211 大学副教授给出过这样的评价:
我们这边即使是教授,也没有能超过姚顺宇同学目前本科期间的物理水平的。
在清华本科毕业之后,姚顺宇便去斯坦福攻读博士。
从领英的履历来看,他在今年毕业之后有 2 个动态的变化,一个是到加州伯克利做了几个月博士后,再之后就正式加入了 Anthropic。
而在今年 8 月加入 OpenAI 的姚顺雨,同样也是来自清华,是姚班学霸 + 联席会主席(还是个 Rapper)。
和搞物理的姚顺宇一样,姚班的姚顺雨在科研上的成就也是具备不小的影响力:
-
思维树(Tree of Thoughts):让 LLM 反复思考,大幅提高推理能力。
-
SWE-bench:一个大模型能力评估数据集。
-
SWE-agent:一个开源 AI 程序员。
毫不夸张的说,几乎每项研究都在圈里产生了不小的涟漪;并且非常明显的一点是,它们都是深深围绕着大模型而展开。
而现如今,两位同为清华出身,同叫 Yao Shunyu 的人,在 AI 大模型上相汇了。
那么除了这两位 Yao Shunyu,清华青年一代还有哪些人才投身大模型?
清华搞大模型的还有谁?
说到这个话题,不得不提的还有马腾宇和陈丹琦。
俩人当年是同班同学,清华姚班 2008 级校友,并且之后都拿了具有 “诺奖风向标” 之称的斯隆奖。
马腾宇博士就读于普林斯顿大学,导师是理论计算机科学家、两届哥德尔奖得主 Sanjeev Arora 教授。
博士毕业后,MIT、哈佛、斯坦福等顶尖高校都给了他助理教授的 Offer,马腾宇最终选择了斯坦福。
去年年底,马腾宇还正式宣布大模型创业了——创立 Voyage AI,透露将带队打造目前最好的嵌入模型,还会提供专注于某个领域或企业的定制化模型。
斯坦福人工智能实验室主任 Christopher Manning、AI 领域著名华人学者李飞飞等三名教授担任 Voyage AI 的学术顾问。
陈丹琦这边,清华姚班完成本科学业后,2018 年又在斯坦福大学拿下博士学位,主攻 NLP,最终成为普林斯顿大学计算机科学系助理教授、普林斯顿语言与智能项目副主任,共同领导普林斯顿 NLP 小组。
其个人主页显示,“这些天主要被开发大模型吸引”,正在研究主题包括:
-
检索如何在下一代模型中发挥重要作用,提高真实性、适应性、可解释性和可信度。
-
大模型的低成本训练和部署,改进训练方法、数据管理、模型压缩和下游任务适应优化。
-
还对真正增进对当前大模型功能和局限性理解的工作感兴趣,无论在经验上还是理论上。
除了这两位,业界、学术界姚班校友在搞大模型的还有很多。
之前火爆全网的大模型原生应用《完蛋!我被大模型包围了》及其续作《我把大模型玩坏了》,就是由姚班学霸带队开发的。
游戏作者范浩强,旷视 6 号员工。当年以 IOI 金牌、保送清华姚班、高二实习等传奇事迹被誉为天才少年。如今他已是旷视科技研究总经理,谷歌学术 h-index 32 的行业大佬。
马斯克 xAI 首个研究成果——Tensor Programs VI,共同一作中也有姚班校友的身影。
Tensor Programs VI 是 xAI 创始成员、丘成桐弟子杨格(Greg Yang)之前 Tensor Programs 系列工作的延续,论文重点探讨了 “如何训练无限深度网络”。
据说 Tensor Programs 相关成果,在 GPT-4 中已有应用。为解读论文,杨格本人当时还专门在 X 上进行了一场直播分享。
共同一作 Dingli Yu,本科毕业于清华姚班,目前 Dingli Yu 也快要在普林斯顿计算机科学系博士毕业了。
还有很多很多…………
那么回到这次搞物理的姚顺宇加入 Anthropic,还有一个话题值得说道说道——Why change。
Anthropic 创始人:物理学家学 AI 就是快
学物理转行 AI,其实已经是学术界的一个 “传统艺能”。
毕竟被誉为 “人工智能教母” 的李飞飞,就是从物理转向研究计算机视觉的一个鲜明例子。
她在普林斯都研究物理的过程中意识到,宇宙的根本问题不只是物理,还可以是关于生命与智能的。
这次姚顺宇加入的 Anthrophic AI,里面物理出身的研究员尤其不少。
创始人 Dario Amodei 自己就是物理学家,本科斯坦福物理专业,博士普林斯顿生物物理专业,可以算是李飞飞的师弟。
转折点在博士毕业第三年,Dario Amodei 加入百度,曾与吴恩达一起工作,解决语音识别和自然语言处理中的问题,后来就在 AI 这条路上一路走到今天了。
Anthrophic AI 招人也对物理背景的人才确实也有偏好,创始人去年 8 月还在一档节目中解释过理由:
…… 部分原因是物理学家学东西非常快。如果我们雇一个拥有物理博士学位的人,他们中的大部分可以快速学习机器学习并做出贡献。
我们的几位创始人,Jared Kaplan、Sam McCandlish,包括我自己,都是物理学家。现在团队里可能有 30-40 个物理学家。
机器学习仍然不是一个非常有深度的领域(a field that has an enourmous amount of depth),所以他们能够很快上手。
隔壁 OpenAI 也不乏物理专业出身的人才,如 Sora 团队中就有北大物理系校友靖礼。
Sora 这类视频生成模型,也被定义为 “物理世界的模拟器”。其背后的扩散模型,灵感更是从物理中的热力学借鉴而来。
……
不过要说今年 “物理” 和“人工智能”两个词联系最紧密的一次,莫过于刚刚颁发的诺贝尔物理奖了。
在颁奖活动中,诺奖组委会特别提到:
物理学为机器学习的发展贡献了工具,相应的,现在机器学习也惠及了物理研究。
例如,机器学习长期应用于希格斯粒子发现等诺奖领域,用于处理海量数据; 它还可用于减少引力波测量中的噪声,或搜寻系外行星。
近年来,这项技术还开始被用于计算和预测分子及材料的性质,如计算决定蛋白质功能的分子结构,或设计性能更佳、可用于高效太阳能电池的新型材料。
只能说以后,科学发展到今天,学科之间的融合趋势会越来越明显了。
往好了想,只要有能力,学什么都不耽误跟上时代的潮流。
往坏了想,其他学科的人才可以随时跨界来卷你。
最后,附上英伟达科学家 Jim Fan 总结的 “AI 技术与相关物理原理对应表”。
参考链接:
[1]www.linkedin.com/in/shunyu-y…
[2]www.youtube.com/watch?v=Nlk…
— 完 —