图分割经典论文获SC21时间检验奖

3 阅读4分钟

George Karypis,某中心网络服务组织的一名高级首席科学家,与其合作者明尼苏达大学教授Vipin Kumar共同获得了SC21时间检验奖。该奖项表彰了他们1998年合著的一篇论文,该论文提出的算法随后被应用于从多物理场科学模拟、超大规模集成电路计算机辅助设计系统到数据库和地理信息系统等多个不同的应用领域。

这篇题为《多约束图分割的多级算法》的论文,引入了多约束图分割算法,旨在解决跨高性能计算系统节点对多阶段科学模拟进行负载均衡的需求,以便在每一个网格元素需要不同计算资源(例如CPU周期、内存和网络带宽)时,能够高效地并行执行计算。

“这篇论文将标准的最小割平衡图分割问题推广到一个寻求满足多个平衡约束的最小割分割的问题,分析了分割的可行性,并提出了用于计算这些分割的高效且有效的多级算法,”Karypis解释道。

在许多领域中,都需要计算同时满足多个约束条件的图分割,该论文介绍的算法随后被用于开发现场可编程门阵列的电子设计自动化工具、解决美国各州不同要求的选区划分、划分大型深度学习模型的计算图、图神经网络训练期间执行的计算以及其他应用。这些算法也被集成到了Metis、ParMetis和hMetis等图和超图分割软件应用程序中。

图分割算法如何工作

在并行和分布式处理中,稀疏图通常用于对计算任务(通过顶点)及其交互(通过边)进行建模。在这些图中,每个顶点都有一个权重,对应于与其相关的计算量;每条边也有一个权重,对应于需要交换的数据量。

图分割算法用于将图划分为k个部分(其中k通常是处理器/系统的数量),并将与每个分区顶点对应的任务分配给单个处理器或系统执行。为了高效执行计算,每个分区任务的权重之和在不同分区之间必须几乎相同,从而实现负载均衡的工作分配。同时,为了减少通信成本,分割需要最小化跨越分区边界的边数。满足这些要求的图分割算法类别通常称为有界容量最小割图分割算法,其中“有界容量”指的是平衡约束,“最小割”指的是最小化跨越分区边界的边的权重之和的目标。

在许多应用中,有界容量最小割公式不足以满足需求。例如,一项计算的任务可能需要不同的计算量和内存量。如果使用标准的有界容量算法来平衡计算,可能会导致在内存需求方面严重不平衡的任务分配。如果使用有界容量算法来计算平衡内存需求的分割,则可能导致计算负载不平衡。

Karypis解释说,无论哪种情况,系统的整体性能都会受到负面影响。“理想情况下,我们希望计算出一个能同时平衡不同分区之间的计算和内存需求的分割,”他说。

为了应对这些挑战,论文的作者们引入了一个模型,允许应用程序表达其多重平衡需求,并开发了多级图分割算法,以生成满足这些约束条件或接近满足这些约束条件的分区。

“由于我们的公式和算法可以同时满足多个平衡标准,我将其称为多约束分割算法,”Karypis解释道。

其他荣誉

SC21时间检验奖是Karypis在过去一年中获得的几项荣誉之一。

今年5月,他在2021年太平洋-亚洲知识发现与数据挖掘会议上获得了杰出贡献奖。Karypis同时也是明尼苏达大学计算机科学与工程系的教授,因其在知识发现和数据挖掘领域的杰出贡献以及长期参与该会议而受到表彰。

2020年11月,Karypis在2020年IEEE数据挖掘会议上获得了十年最高影响力奖。

最近,Karypis在今年早些时候举行的某中心网络服务机器学习峰会上发表了题为《深度图库:大规模深度图学习》的演讲。在演讲之前,某中心科学部门就他即将发表的关于深度图神经网络的演讲采访了Karypis。