小知识,大挑战!本文正在参与“ 程序员必备小知识 ”创作活动
本文同时参与 「掘力星计划」 ,赢取创作大礼包,挑战创作激励金 研究图上的异常检测~
表示学习入门萌新~
跪求指点交流~
GAN +graph
第一次将对抗学习 用于 图网络的表示学习
Dai Q, Li Q, Tang J, et al. Adversarial network embedding[C]//Thirty-second AAAI conference on artificial intelligence. 2018.
1.动机:
现有的表示学习deepwalk,line等考虑了局部信息,一阶信息,二阶信息,但是对于噪音数据,会有很差的表现。对抗学习的目的就是让学习更有鲁棒性。一阶信息,二阶信息,但是对于噪音数据,会有很差的表现。对抗学习的目的就是让学习更有鲁棒性.一般来说处理噪音数据的方法,
降噪自编码器:Vincent P, Larochelle H, Bengio Y, et al. Extracting and composing robust features with denoising autoencoders[C]//Proceedings of the 25th international conference on Machine learning. ACM, 2008: 1096-1103
生成对抗网络:已经在很多领域成功,没用专门针对图数据。本文提出的ANE将对抗学习用于网络的表示。
2.模型结构:
2.1预处理图:
因为A具有稀疏性,深度模型容易过拟合,采用高阶信息。采用PPMI当作生成器的输入。(当作节点属性信息。也可以直接用deepwalk处理。)
模型包括2个部分。
2.2 a structure preserving component
现有的deepwalk,line方法 都是采用共现概率最大化的方式,不是参数化的方法,不适用于做生成器,因为在GAN里生成器是可以针对一个节点直接生成隐变量。
Inductive DeepWalk (IDW)
用2个函数F和G去拟合上下文表示和目标表示。
2.3 an adversarial learning component:
针对G和D的对抗训练。(基础gan网络)
prior distribution:正太分布或者均匀分布
对抗的效果很好,和不加对抗的相比略有提升?.....
citeseer和wiki用node2vec的结果就提升那么一点...也有很大可能是参数调优...
有趣的现象:在降噪自编码器上加对抗学习,效果基本没有提升。在IDW上效果提升大多了。
Thanks for your reading~
专注机器学习与风控算法前沿进展,分享数据挖掘比赛,机器学习,反作弊,推荐系统等技术文章。 快来关注我一起学习呀!