陈家骏团队联合微软亚洲研究院团队提出一种新型细粒度神经元识别算法,该算法能够有效识别跨语言共享的语言相关神经元。具体来说,它分别可以检测语言神经元和语言无关神经元。
此外,基于不同类型神经元的分布特征,研究团队将大模型的多语言推理内部过程分为四个部分,它们分别是:多语言理解、共享语义空间推理、多语言输出空间变换和词汇空间输出。
同时,研究团队既分析了对齐前后的模型,也分析了自发多语言对齐现象。本次研究表明,大模型的不同部分对于不同神经元表现出不同的依赖性,并且多语言对齐能够显著增强相关层中的相应神经元的激活。
另外,研究团队还分析了大模型的自发多语言对齐现象,为理解语言无关神经元和跨语言共享的语言相关神经元所扮演的角色提供了更多见解。进一步地,他们还针对英语的独特性及神经元分布特征提供了实证观察结果,有助于更深入地理解大模型的多语言对齐和多语言能力。