研究大语言模型的特性：Maxime Meyer访谈录
在本系列访谈中，我们与AAAI/SIGAI博士联盟的部分参与者进行了交流，以深入了解他们的研究。我们与Maxime Meyer坐下来聊了聊他当前的研究、未来计划以及博士联盟的经历。
能否先介绍一下你自己、你在哪里学习以及你的研究主题？
你好，我是Maxime，某国立大学数学系的二年级博士生。我的研究聚焦于大语言模型。
你关注大语言模型的哪个方面？
人们注意到，像ChatGPT这样的大语言模型，在处理普通长度的提示时通常效果不错，但当输入变得非常长时，回答质量可能会下降。例如，如果你粘贴一份100页的PDF，模型可能会遗漏细节、产生混淆或给出不太可靠的答案。我的研究旨在理解这种随着输入变长而出现的性能下降现象。我研究它发生的原因、随文本增长如何发展，以及我们能否预测或限制它。
过去几年模型已经有了很大改进。过去，即使是一页内容对它们来说也可能很困难。如今，一页通常没问题。但非常长的文本仍然是个问题。如果你想将整本书（比如《圣经》）输入模型并提出一个具体问题，这对当前系统来说负担太重。同样的问题也出现在长篇公司政策文档或大量规则和指令中。
你工作中是否有特别有趣的方面？
一个特别有趣的结果是，我们最近开发了能够预测模型性能的公式。基于模型的一些基本特征，我们可以估计出它能可靠处理的最大输入长度。这意味着我们并不总是需要运行大量实验来找到其极限。
具体来说，如果某机构有一个模型，并希望它处理更长的提示，他们可以立即使用这些公式来获得指导。通过调整某些参数，可以预期该模型能够处理比原来长两倍甚至三倍的输入，而无需通过反复试验来测试每一种可能性。
你计划如何扩展这个主题的工作？
我们正在探索两个主要方向。首先，我们希望将我们的技术应用于大语言模型的其他问题，超越我们研究的特定场景。其次，我们正在努力优化结果，使预测更加准确。
你早期的某个项目是关于未知量子态的在线学习。能跟我们谈谈那个项目吗？
该项目聚焦于量子计算中的一个问题。量子计算机类似于普通计算机，但它不是将信息存储为明确的0和1，而是将信息存储在量子态中。
在普通计算机中，很容易判断一个比特是0还是1——你可以通过导线测量电信号并直接读取。而在量子计算机中，“比特”被量子态取代，后者可能要复杂得多。准确判断系统处于哪个量子态要困难得多，这是构建和使用量子计算机的主要挑战之一。
在我们的工作中，研究了如何通过重复测量来逐步学习未知的量子态。我们聚焦于两类常用的量子态。其中一类具有更高的对称性，因此人们预期它更容易学习。我们证明的是，在某些情况下，这种优势消失了：两类量子态可能同样难以学习。
你如何看待博士联盟和整个会议的经历？
这是一次很棒的经历。那是我第一次展示我在大语言模型上的工作，收到了很多有用的反馈。博士联盟还让我们有机会与资深研究人员近距离交流两天。我们不仅讨论了研究，还讨论了职业生涯、学术界的挑战，以及根据各自具体目标需要注意什么。我收获了许多宝贵的见解。
你的背景是什么？是什么让你想研究人工智能，特别是大语言模型？
我的背景是数学。我收到了两位我非常喜欢的导师的录取通知，我接受了，因为我知道与相处融洽的人一起工作是多么重要。我们还有灵活性，可以在之后确定具体的研究课题。其中一位导师建议研究大语言模型，因为它们非常流行。我听从了他的建议，到目前为止我非常喜欢！
我也感到很幸运，我的背景与人工智能研究如此契合。该领域的许多人来自计算机科学背景，而受过非常强数学训练的研究人员往往选择留在纯数学领域。然而，数学技能在人工智能研究中很受欢迎，所以我的技能组合恰好很合适。
从事人工智能研究的另一个优势是，在纯数学领域，通常需要多年的学习才能完全理解前沿并开始做出贡献。相比之下，人工智能更像是横向发展而非纵向发展。有了扎实的数学背景，你可以相对较快地跟上进度，并开始研究各种研究问题。
对于考虑攻读该领域博士学位的人，你有什么建议吗？
主要是确保你处于一个良好的环境，有相处融洽的导师，并且住在你想住的地方。环顾四周，这绝对是决定人们是享受博士生涯还是度过几年艰难时光的最重要因素。如果你在一个没有朋友或家人的新城市，你不喜欢那里的气候，而且每天都要和你不喜欢的人一起工作，那很快就会变得很艰难。相反，如果你有好的导师，并且处在一个你知道可以享受乐趣并茁壮成长的环境中，那么攻读博士将是一段不可思议的经历。
你在博士研究之外喜欢做什么？
我的主要爱好是运动，我经常练拳击。博士开始时我就不再参加比赛了，但我仍然每天训练。
关于Maxime Meyer
我是Maxime，某国立大学数学系的二年级博士生，导师是Vincent Tan教授和Caroline Chaux教授。我主要对研究大语言模型的理论基础感兴趣。尽管它们取得了广泛成功，但这些架构——以及它们依赖的数十亿参数——仍然未被充分理解。我的目标是阐明支配它们的基本方程。每个参数扮演什么角色？我们如何量化修改它们对模型性能的影响？这些见解又如何帮助我们设计更高效、更可解释的人工智能模型？FINISHED
