持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第32天，点击查看活动详情

前言

Hello！

非常感谢您阅读海轰的文章，倘若文中有错误的地方，欢迎您指出～

自我介绍 ଘ(੭ˊᵕˋ)੭

昵称：海轰

标签：程序猿｜C++选手｜学生

简介：因C语言结识编程，随后转入计算机专业，获得过国家奖学金，有幸在竞赛中拿过一些国奖、省奖...已保研。

学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！

唯有努力💪

知其然知其所以然！

本文只记录感兴趣的部分

3. STRUCTURAL DEEP NETWORK EMBEDDING

3.1 Problem Definition

DEFINITION 1.

$G=(V, E)$
权重： $s_{i,j}$
- 无权图： $v_i$ 与 $v_j$ 之间有边， $s_{i,j} = 1$ ，没有边， $s_{i, j}=0$
- 有权图: $v_i$ 与 $v_j$ 之间有边， $s_{i,j}$ 为权重，没有边， $s_{i, j}=0$

DEFINITION 2.

First-Order Proximity:一阶接近描述顶点之间的两两接近

对于任意顶点对

如果 $s_{i,j} > 0$ , 则 $v_i$ 和 $v_j$ 之间存在正的一阶接近
否则， $v_i$ 与 $v_j$ 的一阶接近度为0。

DEFINITION 3.

Second-Order Proximity:两个顶点之间的二阶邻近性描述了两个顶点的邻域结构的邻近性

令 $N_u = \{s_{u,1}，…， s_{u，|V|}\}$ 表示 $v_u$ 与其他顶点的一阶接近

然后，二阶接近度由 $N_u$ 和 $N_v$ 的相似度决定

DEFINITION 4.

Network Embedding：给定图 $G = (V, E)$ ，网络嵌入的目的是学习一个映射函数 $f: v_i \rightarrow y_i∈R^d$ ，其中 $d << |V|$

该函数的目的是使 $y_i$ 和 $y_j$ 之间的相似性显式地保持 $v_i$ 和 $v_j$ 的一阶和二阶接近

3.2 The Model

3.2.1 Framework

SDNE框架如图2所示

在这里插入图片描述

为了捕获高度非线性的网络结构

提出了一种深度架构，该架构由多个非线性映射函数组成，将输入数据映射到一个高度非线性的潜在空间，以捕获网络结构

为了解决结构保持和稀疏性问题

提出了一个半监督模型，利用二阶和一阶接近

对于每个顶点，我们可以获得它的邻域。因此，我们设计了无监督分量，通过重建每个顶点的邻域结构来保持二阶邻近性

同时，对于一小部分节点对，我们可以得到它们的成对相似性，即一阶近邻。

因此，我们设计监督组件来利用一阶邻近性作为监督信息来细化潜在空间中的表示。

通过在半监督深度模型中对它们进行联合优化，SDNE可以很好地保持高度非线性的局部-全局网络结构，对稀疏网络具有鲁棒性。

3.2.2 Loss Functions

一些术语和符号

在这里插入图片描述

注意，参数上面的 $ˆ$ 表示解码器的参数。

我们首先描述无监督组件如何利用二阶邻近性来保持全局网络结构

二阶邻近性是指一对顶点的邻域结构有多相似

因此，要对二阶邻近度进行建模，就需要对每个顶点的邻域进行建模

给定一个网络 $G = (V, E)$ ，我们可以得到它的邻接矩阵 $S$ ，它包含 $n$ 个实例 $s_1，…, s_n$
对于每个实例 $s_i = \{s_{i,j}\}^n_{j=1}, s_{i,j} > 0$ 当且仅当 $v_i$ 和 $v_j$ 之间存在连接
因此， $s_i$ 描述了顶点 $v_i$ 的邻域结构， $S$ 提供了每个顶点的邻域结构信息

利用 $S$ ，我们扩展了传统的深度自编码器[23]，以保持二阶邻近性

考虑到深度自编码器的独立性，我们简要回顾了深度自编码器的关键思想

它是一个无监督模型，由编码器和解码器两部分组成。

编码器由多个非线性函数组成，它们将输入数据映射到表示空间
解码器还包含多个非线性函数，将表示空间中的表示映射到重构空间

然后给定输入 $x_i$ ，每层的隐藏表示如下2所示

在这里插入图片描述得到 $y^{(K)}_i$ 后，反转编码器的计算过程，得到输出 $\hat x_i$ 。

自动编码器的目标是使输出和输入的重构误差最小化。损失函数如下所示:

在这里插入图片描述

[23]证明，虽然最小化重构损失并不能显式地保持样本之间的相似性，但重构准则可以平滑地捕获数据流形，从而保持样本之间的相似性

然后考虑到我们的情况，如果我们用邻接矩阵S作为自编码器的输入，即 $x_i = s_i$

由于每个实例 $s_i$ 表征了顶点 $v_i$ 的邻域结构，重建过程将使具有相似邻域结构的顶点具有相似的潜在表示

然而，由于网络的某些特定特性，这样的重构过程并不能直接应用于我们的问题

在网络中

我们可以观察到一些链接，但同时却看不到许多合法的链接，这意味着顶点之间的链接确实表明了它们的相似性，但没有链接并不一定表明它们的不同。
此外，由于网络的稀疏性，S中非零元素的数量远小于零元素的数量。

那么如果我们直接使用S作为传统自动编码器的输入，它更容易重构S中的零元素。然而，这并不是我们想要的。

为了解决这一问题，我们对非零元素的重构误差施加了比零元素重构误差更大的惩罚。修正后的目标函数如下:

在这里插入图片描述

其中 $\odot$ 表示哈达玛积(Hadamard product) $b_i = \{b_{i,j}\}^n_{j=1}=\begin{cases} b_{i,j} = 1 \quad s_{i,j} = 1\\ b_{i,j} = \beta > 1 \quad else \end{cases}$

现在，通过使用以邻接矩阵 $S$ 为输入的修正深度自编码器，将具有相似邻域结构的顶点映射到表示空间的附近，并由重构准则保证。

再原来的基础上，对非零元素施加更大的惩罚，修正损失函数

换句话说，我们的模型的无监督组件可以通过重建顶点之间的二阶邻近性来保持全局网络结构。

通过使用修正后深度自编码器在保持二阶邻近性

不仅要保护全局网络结构，而且要抓住局部结构。

我们用第一接近度来表示局域网络结构

一阶接近度可以看作是约束一对顶点潜在表示相似度的监督信息。

因此，我们设计监督组件利用一阶接近。这个目标的损失函数定义如下3

在这里插入图片描述

公式4的目标函数借用了拉普拉斯特征映射[1]的思想

当相似顶点在嵌入空间的远处映射时，会产生一个惩罚
一些关于社交网络[13]的作品也使用了类似的想法
我们在深度模型中引入了这种思想，使由边连接的顶点在嵌入空间中被映射到附近
因此，该模型保持了一阶接近。

为了同时保持一阶和二阶的接近性，我们提出了一个半监督模型，最小化以下目标函数: 在这里插入图片描述

其中 $L_{reg}$ 是防止过拟合的 $L2$ 范数正则化项，其定义如下:

在这里插入图片描述

3.2.3 Optimization

通过对参数进行初始化，利用随机梯度下降法对深度模型进行优化

需要注意的是，由于模型的高非线性，它在参数空间中会有许多局部最优

因此，为了找到一个好的参数空间区域，我们首先使用Deep Belief Network在[11]处对参数进行预训练，这在文献[7]中已经被证明是深度学习的一个必要的参数初始化。

完整的算法步骤如下：在这里插入图片描述

3.3 Analysis and Discussions

New vertexes

网络嵌入的一个实际问题是如何学习新到达顶点的表示

对于新顶点的表示是一个问题

1）对于一个新顶点 $v_k$ ，如果已知它与现有顶点的连接

我们可以得到它的邻接向量 $x = \{s_{1,k}，…， s_{n,k}\}$ ，其中 $s_{i,k}$ 表示已有顶点 $v_i$ 与新顶点 $v_k$ 的相似度
然后我们可以简单地将 $x$ 输入到我们的深度模型中，并使用训练好的参数 $θ$ 来得到 $v_k$ 的表示。该过程的复杂度为 $O(1)$