论文题目：Neighbor Contrastive Learning on Learnable Graph Augmentation$^{[1]}$

论文来源：AAAI2023

code：github

一、Motivation

• 1.先前的方法大都依赖于随机的数据增强，但是这对于不同数据集来说是很敏感的（不同数据集需要使用不同的增强组合）；
  • a.解决办法：提出可学习的模型增强（使用的是attention机制）
• 2.先前的方法直接将CV中的对比方法借鉴过来用于图数据，其中相邻的节点被认为是负面的，因此被推到离锚点很远的地方。然而，这与网络的同质性假设是矛盾的，即连接的节点通常属于同一类别，应该彼此靠近；
  • b.解决办法：提出NCL（Neighbor Contrastive Loss）

作者指出直接将CV领域的对比Loss直接用于图上会忽略图的同质性原理（也即相邻的图节点之间的结构应该是相似的），因而提出如上图所示的NCL Loss，该Loss在构造对比对象的时候考虑了图的同质性原理，也即将相邻的节点视为正样本对。

二、Model

其模型图如上图所示，主要是加入了多个GAT模块来自动生成对比视图，这样不会破坏原始的图结构，最大限度保留了原始图上的语义信息，另外其经过不同attent模块会改变节点的权重值，这实现可学习的增强操作；

三、Data & Experments

• Cora, Citeseer, Pubmed$^{[2]}$
• Coauthor-CS, Amazon-Photo$^{[3]}$

四、Performance

从上表可以看出其在多个数据集上的节点分类任务都取得了SOTA的效果，证明了模型效果的有效性；

五、Ablation Study

从消融实验可以看出其提出的Loss起到了绝对作用，对比效果发现去掉hard positive会导致效果下降；

六、Conclusion

作者提出了两个模块，可学习的模型增强和NCL Loss，可学习的模型增强使用的是不同Attention模块来构造具有不同权重值的对比视图，保留了原始图结构，只是改变了权重值（这里有值的借鉴的地方）；这篇文章最大的贡献在于提出了一种新的对比Loss计算方式，其将一些hard postive从negative中取出放回positive中；

七、References

[1] Shen X, Sun D, Pan S, et al. Neighbor Contrastive Learning on Learnable Graph Augmentation[J]. arXiv preprint arXiv:2301.01404, 2023.

[2] Sen, P.; Namata, G.; Bilgic, M.; Getoor, L.; Galligher, B.; and Eliassi-Rad, T. 2008. Collective Classification in Network Data. AI Magazine 29(3): 93-93.

[3] Shchur, O.; Mumme, M.; Bojchevski, A.; and Günnemann, S. 2018. Pitfalls of Graph Neural Network Evaluation. arXiv preprint arXiv:1811.05868.