麻省理工学院（MIT）的研究人员创建了一张周期表，展示了20多种经典机器学习算法之间的联系。这个新框架有助于揭示科学家们如何融合不同方法的策略，以改进现有的人工智能模型或提出新的模型。
例如，研究人员利用他们的框架，结合了两种不同算法的元素，创造出了一种新的图像分类算法，其性能比当前最先进的方法高出8%。
这张周期表源于一个关键思想：所有这些算法都在学习数据点之间的一种特定关系。虽然每种算法实现这一目标的方式略有不同，但每种方法背后的核心数学原理是相同的。
基于这些见解，研究人员找到了许多经典人工智能算法背后的统一方程。他们利用这个方程重新解释了流行的方法，并将它们排列成一张表，根据算法学习的近似关系对其进行分类。
就像化学元素周期表最初有一些空白方格，后来被科学家填补一样，机器学习的周期表也存在空白。这些空白预测了某些算法应该存在，但尚未被发现。
这张表为研究人员提供了一套工具，使他们在设计新算法时无需重新发明已有方法的思想，MIT研究生、该新框架论文的第一作者Shaden Alshammari表示。
Alshammari补充道：“这不仅仅是一个比喻。我们开始将机器学习视为一个有结构的系统，这是一个可以探索的空间，而不是只靠猜测摸索。”
该论文的合作者还包括谷歌AI感知团队的研究员John Hershey，MIT研究生Axel Feldmann，MIT电气工程与计算机科学Thomas and Gerd Perkins教授、计算机科学与人工智能实验室（CSAIL）成员William Freeman，以及资深作者、MIT研究生兼微软高级工程经理Mark Hamilton。该研究将在国际学习表征大会（International Conference on Learning Representations）上进行汇报。
一个偶然的方程
研究人员最初并没有打算创建机器学习的周期表。
在加入Freeman实验室后，Alshammari开始研究聚类，这是一种通过学习将相似图片组织到相近簇中的机器学习技术。
她发现自己研究的聚类算法与另一种经典机器学习算法——对比学习（contrastive learning）——非常相似，于是深入研究了其中的数学原理。Alshammari发现，这两种截然不同的算法可以用同一个底层方程来重新表述。
Hamilton说：“我们几乎是偶然得到了这个统一方程。一旦Shaden发现它能连接两种方法，我们就开始尝试把更多方法纳入这个框架。几乎我们尝试的每一种方法都能加入进来。”
他们创建的这个框架，称为信息对比学习（information contrastive learning，简称I-Con），展示了各种算法如何通过这个统一方程来理解。它涵盖了从检测垃圾邮件的分类算法到驱动大型语言模型（LLM）的深度学习算法等一切内容。
这个方程描述了这些算法如何在真实数据点之间找到联系，然后在内部近似这些联系。
每种算法都旨在最小化其学习到的近似联系与训练数据中真实联系之间的偏差。
他们决定将I-Con组织成周期表，根据数据点在真实数据集中如何连接以及算法近似这些连接的主要方式对算法进行分类。
Alshammari说：“这项工作是逐步推进的，但一旦我们确定了这个方程的一般结构，加入更多方法就变得容易多了。”
发现工具
在排列周期表的过程中，研究人员发现了一些空白，这些位置的算法还未被发明。
研究人员通过借鉴对比学习中的思想，并将其应用于图像聚类，填补了其中一个空白。这带来了一个新的算法，其对未标记图片的分类效果比另一种最先进方法高出8%。
他们还利用I-Con展示了对比学习中开发的一种数据去偏技术也可以用来提升聚类算法的准确率。
此外，这张灵活的周期表还允许研究人员添加新的行和列，以表示数据点连接的其他类型。
Hamilton表示，最终，有了I-Con作为指导，机器学习科学家们可以跳出固有思维，鼓励他们以原本想不到的方式将不同思想结合起来。
他补充说：“我们已经展示，仅凭一个非常优雅、源于信息科学的方程，就能得到跨越近百年机器学习研究的丰富算法。这为发现新方法开辟了许多新途径。”
耶路撒冷希伯来大学计算机科学与工程学院教授Yair Weiss（未参与本项研究）表示：“当下成为机器学习研究人员最具挑战性的方面之一，就是每年涌现出看似无限的论文。在这种背景下，能够统一和连接现有算法的论文极为重要，但却极其罕见。I-Con是这种统一方法的一个极好例子，希望能激励其他人将类似方法应用于机器学习的其他领域。”
这项研究部分由空军人工智能加速器、国家科学基金会人工智能与基础交互研究所和广达电脑公司资助。
