Adversarial network embedding(AAAI18)

157 阅读2分钟

小知识,大挑战!本文正在参与“    程序员必备小知识    ”创作活动

本文同时参与 「掘力星计划」    ,赢取创作大礼包,挑战创作激励金 研究图上的异常检测~

表示学习入门萌新~

跪求指点交流~

GAN +graph

第一次将对抗学习 用于 图网络的表示学习

Dai Q, Li Q, Tang J, et al. Adversarial network embedding[C]//Thirty-second AAAI conference on artificial intelligence. 2018.

1.动机:

现有的表示学习deepwalk,line等考虑了局部信息,一阶信息,二阶信息,但是对于噪音数据,会有很差的表现。对抗学习的目的就是让学习更有鲁棒性。一阶信息,二阶信息,但是对于噪音数据,会有很差的表现。对抗学习的目的就是让学习更有鲁棒性.一般来说处理噪音数据的方法,

降噪自编码器:Vincent P, Larochelle H, Bengio Y, et al. Extracting and composing robust features with denoising autoencoders[C]//Proceedings of the 25th international conference on Machine learning. ACM, 2008: 1096-1103

生成对抗网络:已经在很多领域成功,没用专门针对图数据。本文提出的ANE将对抗学习用于网络的表示。

2.模型结构:

2.1预处理图:

因为A具有稀疏性,深度模型容易过拟合,采用高阶信息。采用PPMI当作生成器的输入。(当作节点属性信息。也可以直接用deepwalk处理。)

模型包括2个部分。

2.2 a structure preserving component

现有的deepwalk,line方法 都是采用共现概率最大化的方式,不是参数化的方法,不适用于做生成器,因为在GAN里生成器是可以针对一个节点直接生成隐变量。

Inductive DeepWalk (IDW)

用2个函数F和G去拟合上下文表示和目标表示。

2.3 an adversarial learning component:

针对G和D的对抗训练。(基础gan网络)

prior distribution:正太分布或者均匀分布

对抗的效果很好,和不加对抗的相比略有提升?.....

citeseer和wiki用node2vec的结果就提升那么一点...也有很大可能是参数调优...

有趣的现象:在降噪自编码器上加对抗学习,效果基本没有提升。在IDW上效果提升大多了。

Thanks for your reading~

专注机器学习与风控算法前沿进展,分享数据挖掘比赛,机器学习,反作弊,推荐系统等技术文章。 快来关注我一起学习呀!