KDD 2023：图神经网络的新前沿
会议主席兼某机构学者孙怡舟就建模长程依赖关系、提升效率以及新型因果模型等话题发表见解。
2021年和2022年，当某机构科学部门邀请知识发现与数据挖掘会议（KDD）程序委员会成员讨论该领域现状时，对话始终围绕图神经网络展开。
图学习仍然是KDD 2023最热门的话题，但作为加州大学洛杉矶分校计算机科学副教授、某机构学者兼本次会议主席的孙怡舟解释说，这并不意味着该领域停滞不前。
图神经网络（GNN）是一种机器学习模型，能生成图节点的嵌入或向量表示，捕获节点与其他节点关系的信息。它们可用于图相关任务，如预测边或标注节点，也可用于任意下游处理任务，充分利用图结构编码的信息。
但在这一通用定义下，“图神经网络的含义可能截然不同，”孙怡舟表示，“‘图神经网络’是一个涵盖范围很广的术语。”
例如，孙怡舟解释说，传统GNN使用消息传递来生成嵌入。图中的每个节点都被嵌入，然后每个节点接收其相邻节点的嵌入（传递的消息），将其整合到更新后的嵌入中。通常，这个过程会执行两到三次，使得每个节点的嵌入能够捕获其一跳至三跳邻域的信息。
“如果进行消息传递，我只能从直接邻居那里收集信息，”孙怡舟解释道，“我需要经过很多层才能建模长程依赖。对于一些特定应用，如软件分析或物理系统模拟，长程依赖变得至关重要。”
“因此人们开始思考如何改变这种架构。他们从Transformer中获得了灵感”——这是当今大语言模型基于注意力的神经架构——“因为Transformer可被视为图神经网络的特例，在输入窗口中，每个词元都可以连接到其他所有词元。”
“如果图中每个节点都能与其他所有节点通信，就能轻松解决长程依赖问题。但这会带来两个限制。一是效率问题。对于某些图，节点数量可能达到数百万甚至数十亿。你无法高效地与图中所有其他节点通信。”
孙怡舟解释说，第二个问题是过多的长程连接会削弱图表示的核心意义。图之所以有用，是因为它们捕获了节点之间有意义的联系——这意味着需要忽略无意义的联系。如果图中每个节点都与其他所有节点通信，有意义的连接就会被稀释。
为了解决这个问题，“人们尝试模仿文本设置或图像设置中的位置编码，”孙怡舟说，“在文本设置中，我们将位置转换为某种编码。后来，在计算机视觉领域，人们说，‘好吧，我们也对图像块做同样处理。’例如，我们可以将每个图像分解为6x6的块，这些块的相对位置可以转换为位置编码。”
“因此接下来的问题是，在图设置中，我们如何获得那种自然的相对位置？有不同方法可以实现，比如随机游走——这是一种非常简单的方法。还有人尝试进行特征分解，利用特征向量来编码这些节点的相对位置。但特征分解非常耗时，所以又回到了效率问题。”
效率
孙怡舟解释说，提高GNN的效率本身就是一个活跃的研究领域——从高层算法设计到芯片设计层面。
“在算法层面，可以尝试某种采样技术，尽量减少操作次数，”她说，“或者设计更高效的算法来稀疏化图。例如，假设我们想进行某种相似性搜索，保留每个目标节点最相似的节点。然后人们可以设计一些智能索引技术，使这一部分变得非常快。”
“在推理阶段，我们可以进行知识蒸馏，将非常复杂的模型（比如图神经网络）提炼成非常简单的图神经网络——或者不一定是图神经网络，可能只是一个非常简单的结构，如多层感知机（MLP）。这样我们就能更快地进行计算。量化也可以在推理阶段应用，以加速计算。”
“这是在算法层面。但如今人们研究得更深入。有时，要解决问题，需要深入到系统层面。因此人们研究如何设计分布式系统来加速训练和推理。”
“例如，在某些情况下，内存成为主要限制。这种情况下，可能唯一能做的就是分配工作负载。然后自然产生的问题是如何协调或同步每个计算节点训练的模型参数。如果必须将数据分配到10台机器上，如何与这10台机器协调，确保只有一个最终版本？”
“人们现在甚至研究得更深入，在硬件层面进行加速。因此软硬件协同设计也越来越受欢迎。这要求人们真正了解许多不同领域。”
“顺便说一下，在KDD，与许多其他机器学习会议相比，现实世界问题始终是我们的首要关注点。在许多情况下，为了解决现实世界问题，我们必须与不同背景的人交流，因为我们不能仅仅将其包装成我们在高中时解决的那种理想问题。”
应用
除了这些提高GNN通用性和准确性的普遍努力之外，还有关于GNN技术具体应用的新研究。
“有一些关于如何在图设置中进行因果分析的工作，意味着对象实际上相互干扰，”孙怡舟解释道，“这与传统设置截然不同：例如，药物研究中的患者是相互独立的。”
“还有一个新趋势是将深度表示学习与因果推理相结合。例如，我们如何将尝试的治疗表示为连续向量，而不仅仅是二元治疗？我们能否使治疗在时间上连续——意味着它不仅仅是静态的一次性治疗？如果我将治疗推迟10天，结果与推迟20天相比会如何？时间非常重要；我们如何注入时间信息？”
“图也可以被视为描述多智能体动态系统的良好数据结构——这些对象在动态网络设置中如何相互交互。然后，我们如何将生成思想融入图中？图生成对于许多领域非常有用，例如制药行业。”
“还有许多应用可以从大语言模型（LLM）中受益。例如，知识图谱推理。我们知道LLM会产生幻觉，而在知识图谱上的推理非常严谨。这两者的良好结合会是什么？”
“对于GNN，总有新内容出现。图只是一种非常有用的数据结构，用于模拟我们互联的世界。”
