前情提要
本文是传知代码平台中的相关前沿知识与技术的分享~
接下来我们即将进入一个全新的空间，对技术有一个全新的视角~
本文所涉及所有资源均在传知代码平台可获取
以下的内容一定会让你对AI 赋能时代有一个颠覆性的认识哦！！！
以下内容干货满满，跟上步伐吧~
💡本章重点
- LAD-GNN标签注意蒸馏
🍞一. 概述
在当今的数据科学领域，Graph Neural Networks (GNNs) 已成为处理图结构数据的强大工具。然而，传统的GNN在图分类任务中面临一个重要挑战——嵌入不对齐问题。本文将介绍一篇名为“Label Attentive Distillation for GNN-Based Graph Classification”的论文，该论文提出了一种新颖的解决方案——LAD-GNN，以显著提升图分类的性能。
🍞二. 知识蒸馏与GNN-MLP蒸馏
知识蒸馏
- 定义：一种将复杂模型（教师）的知识迁移到简单模型（学生）的技术。
- 步骤：
-
训练教师模型。
-
提取教师模型的知识。
-
使用这些知识训练学生模型。
-
师生模型
-
教师模型：深度、复杂，捕捉复杂特征。
-
学生模型：简单、易于部署，模仿教师模型。
GNN-MLP 蒸馏
- 目的：将GNN的知识迁移到MLP，减少模型复杂性。
- 应用：
-
移动设备。
-
嵌入式系统。
-
快速部署。
-
实施步骤
-
训练GNN教师模型：在图分类任务上训练。
-
提取知识：获取节点或图嵌入。
-
训练MLP学生模型：模仿教师模型的行为。
论文主要创新内容
本文提出了一种新的图神经网络训练方法，称为 LAD-GNN。该方法通过标签注意蒸馏，显著提高了图分类任务的准确性。其主要思路是在训练过程中引入标签信息，通过师生模型架构，实现类友好的节点嵌入表示。
论文创新点
论文的主要创新点在于提出了一种名为标签注意蒸馏方法（LAD-GNN）的新颖方法。该方法通过引入标签注意编码器，将节点特征与标签信息结合在一起，生成更加理想的嵌入表示。标签注意编码器能够捕捉全局图信息，使得节点嵌入更加对齐，从而解决了传统GNN中常见的嵌入不对齐问题。此外，该方法采用了基于师生模型架构的蒸馏学习策略，教师模型通过标签注意编码器生成高质量的嵌入表示，学生模型通过蒸馏学习从教师模型中学习类友好的节点嵌入表示，从而优化图分类任务的性能。实验结果表明，LAD-GNN在多个基准数据集上显著提高了图分类的准确性，展示了其在图神经网络领域的创新性和有效性。
主要贡献
-
解决嵌入不对齐问题：通过引入标签注意蒸馏方法，有效解决了传统GNN中的嵌入不对齐问题。
-
提升分类准确性：在多个基准数据集上，LAD-GNN 显著提高了图分类的准确性。
-
创新性方法：提出了标签注意编码器和蒸馏学习相结合的创新性方法。
🍞三.模型图
LAD-GNN 模型架构
该框架图可以看到该框架分为教师模型和学生模型两个阶段。
教师模型的训练过程是通过一种标签关注的训练方法进行的。在这个过程中，标签关注编码器会将真实标签编码成标签嵌入，并将其与由GNN骨干生成的节点嵌入结合，使用注意力机制形成一个理想的嵌入。这个理想嵌入被送入读出函数和分类头，以预测图的标签。标签关注编码器与GNN骨干一起训练，目的是最小化分类损失。
在学生模型的训练阶段，采用了一种基于蒸馏的方法。具体来说，教师模型训练完成后，生成的理想嵌入作为中间监督指导学生模型的训练。学生模型共享教师模型的分类头，通过最小化分类损失和蒸馏损失来继承教师模型的知识，生成有利于图级任务的节点嵌入。
在整个框架中，标签关注编码器起到了关键作用。它由标签编码器和多个注意力机制层组成，通过将标签嵌入和节点嵌入进行特征融合，捕捉两者之间复杂的关系，从而增强模型的表达能力。在实际操作中，标签编码器使用多层感知器（MLP）将标签编码成潜在嵌入，随后通过类似Transformer架构的注意力机制进行处理，形成高级的潜在表示。
🍞四.算法伪代码
🍞五.实验结果
论文通过在10个基准数据集上的实验验证了 LAD-GNN 的有效性。结果表明，与现有的最先进GNN方法相比，LAD-GNN 显著提高了图分类的准确性。例如，在 IMDB-BINARY 数据集上，LAD-GNN 使用 GraphSAGE 骨干网实现了高达16.8%的准确性提升。
MUTAG 教师训练
MUTAG 学生训练
🫓总结
综上，我们基本了解了“一项全新的技术啦” :lollipop: ~~
恭喜你的内功又双叒叕得到了提高！！！
感谢你们的阅读:satisfied:
后续还会继续更新:heartbeat:，欢迎持续关注:pushpin:哟~
:dizzy:如果有错误❌，欢迎指正呀:dizzy:
:sparkles:如果觉得收获满满，可以点点赞👍支持一下哟~:sparkles:
【传知科技 -- 了解更多新知识】
