持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第32天，点击查看活动详情

前言

Hello！

非常感谢您阅读海轰的文章，倘若文中有错误的地方，欢迎您指出～

自我介绍 ଘ(੭ˊᵕˋ)੭

昵称：海轰

标签：程序猿｜C++选手｜学生

简介：因C语言结识编程，随后转入计算机专业，获得过国家奖学金，有幸在竞赛中拿过一些国奖、省奖...已保研。

学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！

唯有努力💪

知其然知其所以然！

本文只记录感兴趣的部分

ABSTRACT

现有的网络嵌入方法几乎都采用浅模型（ shallow models）

然而，由于底层网络结构复杂，浅层模型无法捕捉到高度非线性的网络结构，导致网络表达次优

因此，如何找到一种能够有效捕捉高度非线性网络结构并保持全局和局部结构的方法是一个开放而重要的问题

为了解决这一问题，本文提出了一种结构化深度网络嵌入方法，即SDNE。

更具体地说，我们首先提出了一个半监督深度模型，该模型具有多层非线性函数，从而能够捕捉高度非线性的网络结构。

然后我们提出利用一阶和二阶邻近性来保护网络结构。

无监督分量利用二阶邻近性来捕捉全局网络结构
而在监督分量中使用一阶邻近度作为监督信息，以保持局部网络结构

通过在半监督深度模型中对它们进行联合优化，该方法

既能保持局部网络结构
又能保持全局网络结构
对稀疏网络具有鲁棒性

1. INTRODUCTION

如今，网络无处不在，许多真实世界的应用程序需要挖掘这些网络中的信息

例如

Twitter的推荐系统旨在挖掘社交网络中用户的首选推文
在线广告定位往往需要将用户聚集到社交网络中的社区中

因此，对网络中的信息进行挖掘是非常重要的。其中一个基本问题是如何学习有用的网络表示[5]

一种有效的方法是将网络嵌入到低维空间中，即学习每个顶点的向量表示，目的是在学习到的嵌入空间中重建网络

因此，可以直接在低维空间中对网络中的信息进行挖掘，如信息检索[34]、分类[15]、聚类[20]等

学习网络表示面临以下挑战:

(1)高度非线性: 正如[19]所说，网络的底层结构是高度非线性的。因此，如何设计一个模型来捕捉高度非线性的结构是相当困难的。
(2)保留结构:为了支持应用分析网络，需要网络嵌入来保留网络结构。然而，网络的底层结构是非常复杂的[24]。顶点的相似性取决于局部和全局网络结构。因此，如何同时保护局部和全局结构是一个棘手的问题。
(3)稀疏性:许多现实世界的网络往往是如此稀疏，仅利用非常有限的观察链接不足以达到令人满意的性能

在过去的几十年里，人们提出了许多采用浅层模型的网络嵌入方法，如IsoMAP[29]、Laplacian Eigenmaps (LE)[1]和Line[26]

然而，由于浅层模型[2]的表达能力有限，很难捕捉到高度非线性的网络结构[30]

虽然有些方法采用了内核技术[32]，但正如[36]所述，内核方法也是浅层模型，不能很好地捕捉高度非线性的结构。

为了更好地捕捉网络的高度非线性结构，本文提出了一种新的深度模型来学习网络顶点表示

在我们提出的模型中，我们设计了一个由多个非线性函数组成的多层结构

多层非线性函数的组合可以将数据映射到一个高度非线性的潜在空间，从而能够捕捉到高度非线性的网络结构

为了解决深度模型的结构保持和稀疏性问题，我们进一步提出在学习过程中联合利用一阶和二阶接近[26]

一阶邻近性是指仅由边连接的顶点之间的局部两两相似度，它表征了局部网络结构

然而，由于网络的稀疏性，许多合法的链接丢失了。因此，一阶接近度不足以表示网络结构

因此，我们进一步提出了二阶邻近性，它表明顶点的邻域结构的相似性，以获取全局网络结构

通过一阶和二阶近似，我们可以分别很好地刻画局部和全局网络结构

为了在深度模型中同时保留局部和全局网络结构，我们提出了一种半监督结构

其中无监督分量重构二阶邻近性来保留全局网络结构
监督分量利用一阶邻近性作为监督信息来保留局部网络结构

学习后的表示可以很好地保留局部和全局网络结构。

如图1所示，二阶接近的顶点对的数量要比一阶接近的顶点对的数量大得多

在这里插入图片描述图1：在不同数据集中具有一阶和二阶接近性的顶点对的数量。

本文的贡献如下:

我们提出一种结构化深度网络嵌入方法(SDNE)来实现网络嵌入。该方法能够将数据映射到一个高度非线性的潜在空间，以保持网络结构，并对稀疏网络具有鲁棒性。据我们所知，我们是最早使用深度学习来学习网络表征的文章之一。
我们提出了一种新的半监督结构的深度模型，它同时优化了一阶和二阶邻近性。因此，学习到的表示保持了局部和全局网络结构，对稀疏网络具有鲁棒性。
该方法在5个真实数据集和4个应用场景上进行了广泛的评估。实验结果表明，该方法在多标签分类、重构、链接预测和可视化等方面具有较好的实用性。具体来说，当标记数据稀缺时，我们的方法可以实现比基线更显著的改进(20%)。在某些情况下，我们只需要减少60%的训练样本，但仍然可以获得更好的性能。

2. RELATED WORK

2.1 Deep Neural Network

表征学习一直是机器学习的一个重要问题，许多研究都是针对样本的表征学习[3,35]

深度神经网络的最新进展表明，它们具有强大的表示能力[12]，可以为许多类型的数据生成非常有用的表示

例如：

[15]提出了一种七层卷积神经网络来生成用于分类的图像表示
[33]提出了一种学习图像-文本统一表示的多模态深度模型，以实现跨模态检索任务。

然而，据我们所知，很少有深度学习工作处理网络，特别是学习网络表示

在[9]中，采用限制玻尔兹曼机进行协同过滤
[30]采用深度自编码器对图进行聚类
[5]提出了一个异构深度模型来实现异构数据嵌入

我们与这些作品有两个不同之处。

首先，目标不同。我们的工作重点是学习低维结构保留的网络表示，可以在任务之间使用
其次，我们同时考虑顶点之间的一阶和二阶邻近性，以保持局部和全局网络结构。但它们只关注一阶信息

2.2 Network Embedding

我们的工作解决了网络嵌入的问题，其目的是学习网络的表示。

较早的作品如LLE (Local Linear Embedding)[22]、IsoMAP[29]等首先基于特征向量构造亲和图，然后求解主导特征向量作为网络表示。

结语

文章仅作为个人学习笔记记录，记录从0到1的一个过程

希望对您有一点点帮助，如有错误欢迎小伙伴指正

在这里插入图片描述

【论文阅读｜深读】SDNE:Structural Deep Network Embedding【1】

前言

ABSTRACT

1. INTRODUCTION

2. RELATED WORK

2.1 Deep Neural Network

2.2 Network Embedding

结语