ContrastivePre-Trainingof GNNs on Heterogeneous Graphs

181 阅读2分钟

小知识,大挑战!本文正在参与“       程序员必备小知识       ”创作活动

本文同时参与 「掘力星计划」       ,赢取创作大礼包,挑战创作激励金

一篇异构图神经网络表示学习的顶会。

介绍: 虽然图神经网络 (GNN) 成为最先进的 图上的表示学习方法,它们通常需要一个 大量标记数据以达到令人满意的性能, 这通常很昂贵或不可用。缓解标签稀缺 问题,已经为 GNN 设计了一些预训练策略,以 从图的通用结构特性中学习可转移的知识。然而,现有的预训练策略是 仅针对齐次图设计,其中每个节点和 边属于同一类型。相比之下,异构图 体现了丰富的语义,因为多种类型的节点与 通过不同种类的边彼此相互,这些边被忽略 现有的策略。在本文中,我们提出了一种新颖的对比 GNN 在异构图 (CPTHG) 上的预训练策略,以捕获语义和结构属性 自我监督的方式。具体来说,我们设计了语义感知 关系级和子图级的预训练任务,以及 通过对比,进一步增强其代表性 学习。我们对三个真实世界进行了广泛的实验 异构图和有希望的结果证明了我们的 CPT-HG 将知识转移到各种 通过预训练的下游任务。

总结以及未来工作: 总结以及未来工作:

在这项工作中,我们首次尝试在异构图上预训练 GNN 模型,并提出了一种新颖的对比 异构图上 GNN 的预训练策略,命名为 CPT-HG。捕获语义和结构信息 以可转移的形式绘制图形,我们通过对比学习利用关系和子图级预训练任务, 利用异构固有的自我监督信息 图表。在关系层面,我们设计了一个预训练任务 区分两个节点之间的关系类型,它编码 异构图的基本特征。在 在子图级别,我们提出了一个预训练任务来区分 不同元图的子图实例,编码 高阶语义上下文。广泛的实验三 真实世界的异构图显示出有希望的结果 以及我们的 CPT-HG 将知识转移到 通过预训练完成各种下游任务。