【七日打卡】-4 【论文笔记】DynGEM: Deep embedding method for dynamic graphs

DynGEM是一种动态图嵌入方法，该方法能生成稳定的动态图嵌入表示。它的核心是一个深度自编码器，并采用深度学习方法生成高度非线性的嵌入表示。DynGEM并不是从头开始学习每个图快照的嵌入表示，而是基于Gt-1图snapshot的嵌入表示增量的生成Gt图snapshot的嵌入表示。同时，文章提出了PropSize的方法，能够动态地调节神经网络中神经元个数、层数，支持网络大小的动态变化。

原文：Goyal P, Kamra N, He X, et al. Dyngem: Deep embedding method for dynamic graphs[J]. arXiv preprint arXiv:1805.11273, 2018.

动态图嵌入表示的目标

动态图指的就是会随着时间变化出现或减少新的节点、边的图。针对静态图嵌入的方法生成的嵌入表示是不稳定的，同时无法处理新增节点问题。

对于动态图，最常用的方法是snapshot,就是将动态图按照时间进行切分。$G(V,E)$常用于表示图，对于t时刻的图，可以用$G_t(V_t,E_t)$表示。不同时间的图可以被排列成一个snapshots（快照）序列，即$G=\{G_1,G_2...G_T\}$。

动态图扩展了嵌入的概念，给定一个动态图，它的嵌入将是时间序列的一个映射$F=\{f_1,f_2...f_n\}$。映射后的$f_t$是$G_t$的embedding。所有映射都为它们各自的图保留邻近度量。对于动态图来说，它的图嵌入算法应该能够随着时间创建出稳定的嵌入向量。如果$G_{t+1}$和$G_{t}$的差距不大，那么他们的embedding output$Y_{t+1}=f_{t+1}(G_{t+1})$和$Y_t=f_t(G_t)$的距离也应该较小。

作者定义了两个量用于衡量嵌入算法的稳定性，分别是绝对稳定性和相对稳定性，如下：

同时定义了稳定性常量：

只要这个稳定性常量越小，那么动态编码越稳定。

DynGEM模型

DynGEM使用一个深度自动编码器将输入数据映射到一个高度非线性的潜在空间，从而在任何时间步捕捉图快照中的连接趋势。这个模型是一个半监督模型，同时最小化两个目标函数的结合，分别是一阶近似和二阶近似。

1.Handling growing graphs

2.Loss function and training

损失函数如下：

3.稳定性

4.可扩展性

文章主要贡献

本文提出了一种快速有效的动态图稳定嵌入算法DynGEM，它使用动态扩展的深度自动编码器来捕获图节点的高度非线性的一阶和二阶近似。此外，我们的模型利用上一时刻的信息通过增量学习嵌入来加速训练过程。实验证明了方法的稳定性，在图重构、链接预测和可视化等评估任务中都表现不错。

future work：将DynGEM能够被运用在检测异常、节点分类、聚类等其他图推理中。