一项发表在《统计力学杂志：理论与实验》上的研究描述了神经网络训练过程中文本理解策略的急剧转变。
摘要： 神经网络起初将句子视为通过词序解决的谜题，但当其阅读足够多的数据后，一个临界点使其转而深入挖掘词义——这是一种类似于水变成蒸汽的突然“相变”。通过揭示这一隐藏的转换，研究人员打开了一扇窗口，得以了解诸如某机构开发的某模型等Transformer模型如何变得更智能，并暗示了使其更精简、更安全、更可预测的新方法。
全文
当今人工智能系统的语言能力令人惊叹。人们现在可以与某模型、某助手等系统进行自然对话，其流畅度几乎可与人类相媲美。然而，人们对这些网络内部产生如此卓越结果的过程仍知之甚少。
一项新研究揭示了这一谜团的一部分。研究表明，当使用少量数据进行训练时，神经网络最初依赖句子中单词的位置。然而，当系统接触到足够多的数据后，它会转换到基于词义的新策略。研究发现，一旦越过关键数据阈值，这种转换就会突然发生——类似于物理系统中的相变。这一发现为理解这些模型的工作方式提供了宝贵的见解。
就像一个孩子学习阅读一样，神经网络最初根据单词的位置来理解句子：根据单词在句子中的位置，网络可以推断它们之间的关系（它们是主语、动词还是宾语？）。然而，随着训练的继续——网络“持续上学”——会发生一种转变：词义成为信息的主要来源。
该研究解释，这发生在一个简化的自注意力机制模型中——这是Transformer语言模型（如人们日常使用的某模型、某助手、某模型等）的核心构建模块。Transformer是一种设计用于处理数据序列（如文本）的神经网络架构，它构成了许多现代语言模型的支柱。Transformer专门用于理解序列内部的关系，并使用自注意力机制来评估每个单词相对于其他单词的重要性。
“为了评估单词之间的关系，”研究第一作者解释说，“网络可以使用两种策略，其中一种是利用单词的位置。”例如，在英语这样的语言中，主语通常位于动词之前，而动词又位于宾语之前。这是一个简单的序列示例。
“这是训练网络时自发出现的第一个策略，”作者解释道。“然而，在研究中观察到，如果训练继续且网络接收到足够的数据，在某个时刻——一旦越过阈值——策略会突然转变：网络开始转而依赖词义。”
“在设计这项工作时，只是想研究网络会采用哪种策略或策略组合。但发现的结果有些出人意料：低于某个阈值时，网络完全依赖位置，而高于阈值时，则完全依赖词义。”
作者将此转变描述为相变，借用了物理学的概念。统计物理学通过统计描述由大量粒子（如原子或分子）组成的系统的集体行为。类似地，神经网络——这些人工智能系统的基础——由大量“节点”或神经元（类比人脑命名）组成，每个节点与许多其他节点相连并执行简单操作。系统的智能源于这些神经元的相互作用，这种现象可以用统计方法来描述。
因此，可以将网络行为的这种突然变化称为相变，就像水在一定的温度和压力条件下从液态变为气态一样。
作者强调：“从理论角度理解策略转变以这种方式发生非常重要。与人们日常互动的复杂模型相比，网络是简化的，但它们可以提供线索，帮助开始理解导致模型稳定于某种或另一种策略的条件。希望未来能利用这些理论知识，使神经网络的使用更高效、更安全。”
该研究发表于《JSTAT》期刊机器学习2025特刊，并收录于NeurIPS 2024会议论文集中。FINISHED
