人工智能飞速发展的今天，AI以前所未有的速度渗透到科研领域，乃至挑战人类在科研领域的传统地位。
3 月 12 日，Sakana AI发布的一则消息引发了广泛关注：其研发的 AI Scientist-v2 撰写的论文，成功通过了 AI国际顶会之一——ICLR 会议相关研讨会的评审。
其中，一篇论文斩获 6.33 的平均审稿人评分，超越平均接受阈值，成为 AI 科学家写出的首篇通过同行评审的论文。
这意味着， AI 自写论文不再是遥不可及的幻想，而是切切实实地从理论构想迈向了现实。
01 AI自写论文成现实
此次，Sakana AI公司在AI自写论文上的操作，被视为一次大胆的尝试。
在这项实验中，Sakana AI 与 ICLR 研讨会ICBINB合作，向研讨会提交了 3 篇完全由 AI Scientist-v2 端到端生成的论文。
也就是说，这三篇论文没有经过人类的直接干预，研究者只是给了一个广泛的研究主题，接下来，从提出科学假设、设计测试假设的实验、编写和完善代码，再到运行实验、分析数据和数据可视化，乃至编写论文和调整格式，所有操作都由AI Scientist-v2自主完成。
在与ICBINB研讨会组织者讨论后，为了避免给审稿人带来过重的识别负担，Sakana AI决定将提交的论文篇数定为三篇。
他们所提交的研讨会，全称是 “I Can't Believe It's Not Better: Challenges in Applied Deep Learning”（“我不敢相信它没有变得更好：应用深度学习的挑战”）。
它由 AI三大顶级盛会之一——ICLR （国际学习表征会议，全称是International Conference on Learning Representations）主办，涵盖的研究范围广泛，旨在提供一个探讨“深度学习”实际应用问题的平台，鼓励研究者突破现有技术的局限，探索新的解决方案。
为了保证评审的公正性和客观性，Sakana AI此次提交的三篇论文，在双盲评审机制下接受评估。
双盲机制具体如何执行呢？按照Sakana AI的说明，审稿人被告知他们所审论文可能是AI生成的（43 篇论文中的 3 篇），但并不知道分配给他们的论文是否正是AI生成。
换言之，审稿人在并不确定的情况下，按照人类科学家的严格标准来评估论文。
最终，在这三篇论文中，其中一篇名为《组合正则化：增强神经网络泛化的意外障碍》的论文脱颖而出，在 ICLR 研讨会上获得了 6.33 的平均审稿人评分，高于许多人类撰写的论文，成功通过了同行评审。
论文《组合正则化：增强神经网络泛化的意外障碍》
这篇论文也因此成为了由 AI 科学家写出的首篇通过同行评审的论文。
02 Sakana AI 是什么来头？
此次AI自写论文这一成果的背后，是一家被称为“科技新贵”的Sakana AI公司。
Sakana AI虽然年轻，但在 AI 领域早已一路高歌猛进。
它由前Google前研究科学家David Ha和Transformer架构论文《Attention Is All You Need》的作者之一Llion Jones在2023年7月创立，公司名称中的“Sakana”，在日语中意为“鱼”，体现出自成立之初就怀揣的远大目标——从自然界汲取灵感，通过集体智能和进化算法设计下一代AI系统，也代表着日本在AI领域奋力追赶的决心。
在此次AI自写论文成果之前，Sakana AI就曾推出过两项重磅研究成果，吸引了无数关注。
2024 年 8 月，Sakana AI推出 “世界上第一个用于自动化科学研究和开放式发现的 AI 系统”——AI Scientist。
在这项成果中，研究人员建立了一个端对端的工作流，能够执行从创意生成、实验迭代和论文写作的全过程，自动生成完整的学术论文，并在短时间内生成了十篇论文，具有强大的科研创作能力。
AI Scientist工作流
同年 12 月，Sakana AI 乘胜追击，推出了另一项重大成果——使用基础模型搜索人工生命的系统 ASAL，通过模拟自然界的进化过程，探索人工生命的可能性，震撼了众多科研人员。
值得一提的是，Sakana AI的两位联合创始人，在AI领域均有着深厚的背景和成就。
Llion Jones是Google Brain团队的重要成员，曾经在谷歌、YouTube和Delcam担任过软件工程师。
最为人知的是，Llion Jones是Transformer模型的共同发明者之一。其论文《Attention is All You Need》引用次数高达141189。从2022年起，他连续三年获得人工智能2000最有影响力学者奖机器学习荣誉奖。
而David Ha曾在谷歌担任研究科学家，研究成果引用次数高达6224，现在是Sakana AI的永久联合创始人。
03 科研规范不能破
尽管此次 AI Scientist-v2 撰写的论文在 ICLR 研讨会评审中获得成功，但仍需要人们保持理性和客观看待，且遵循严格的科研伦理。
论文虽然通过了ICLR研讨会的评审，但Sakana AI团队在内部评审中发现，三篇论文并未达到ICLR主会场的接受标准。 一般而言，ICLR主会场的论文接受率通常在20-30%之间，而研讨会的接受率则高达60-70%。所以说，AI生成的论文虽然在研讨会上表现出色，但在更严格的主会场评审中仍显不足。
Sakana AI团队发现AI Scientist也会犯错误
此外，Sakana AI团队宣称，不会将这些AI生成的论文在OpenReview的公共论坛上公开发布，而是选择在同行评审结束后撤回。
在Sakana AI团队看来，对科学伦理的尊重是必要的，“作为一个社区，我们还需要制定有关 AI 生成的科学规范，包括何时以及如何声明论文完全或部分由 AI 生成，以及在此过程中的哪个时间点”。
事实上，在 AI 科研发展的过程中，已经有不少研究对 AI 科学家进行了批判性的评估。
在Sakana AI发布AI Scientist后，就有学者对其进行了全面独立的评估。
研究发现，虽然 AI Scientist 展现出了一定的科研能力，但在自主研究方面仍存在诸多不足。
例如，在文献综述环节，它常常将已经成熟的学术概念错误地归类为新颖成果，在实验执行过程中，42 个实验因编码错误而失败，部分实验结果也存在缺陷或误导性，生成的论文也存在结构错误、引用过时等问题。
不过，AI科学家的出现也并非毫无意义。
不久前，斯坦福大学发表的一篇论文指出，LLM的使用呈现稳定增长趋势，其中，计算机科学领域的增长最快。 这意味着，合理利用 AI 技术能够有效提升科研成果的产出。
斯隆研究奖获得者杨笛一发表的论文也表明，LLM（大语言模型）生成的创意在新颖性方面得分高于人类专家创意，但在实际操作和落地方面，还需要人类的专业判断和修正。
04 总结
总的来说，我们必须客观看待 AI 在科研中的作用。科研不仅仅是写作，还包括提出问题、设计实验、分析结果等多个深度思考的环节。在这些环节中，人类的专业知识、经验、直觉和批判性思维无法为AI所完全替代。
但AI 成为科研写作的加速引擎，已经成为了一个不可阻挡的趋势。或许，更重要的不是如何评判人工智能，而是思考，人工智能的存在如何有助于人类的繁荣和发展。
这里是AMiner数据平台——全球领先的学术数据挖掘与分析平台，您身边的科研助手，有关学术趋势洞察、学者网络分析问题都可以与我们探讨！
或直接关注【AMiner Research】公众号,获取最新的AI前沿研究、行业动态和学者信息!
