持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第30天，点击查看活动详情

前言

Hello！

非常感谢您阅读海轰的文章，倘若文中有错误的地方，欢迎您指出～  

自我介绍 ଘ(੭ˊᵕˋ)੭

昵称：海轰

标签：程序猿｜C++选手｜学生

简介：因C语言结识编程，随后转入计算机专业，获得过国家奖学金，有幸在竞赛中拿过一些国奖、省奖...已保研。

学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！  

唯有努力💪  

知其然 知其所以然！

本文只记录感兴趣的部分

ABSTRACT

网络嵌入的目的是在嵌入空间中保持顶点的相似性

现有的方法通常通过节点之间的直接连接或共同邻域来定义相似性，即结构等价

然而，位于网络不同部位的顶点可能具有相似的角色或位置，即正则等价，这一点在网络嵌入文献中基本被忽略。

正则等价是用递归的方式定义的，即两个正则等价顶点具有同样正则等价的网络邻居。

因此，我们提出了一种新的深度递归网络嵌入方法来学习具有规则等价的网络嵌入。

更具体地说，我们提出了一个层规范化的LSTM，通过递归地聚合它们的邻域表示来表示每个节点。

我们从理论上证明了一些流行的、典型的、符合规则等价的中心性测度是我们模型的最优解。

1 INTRODUCTION

有多种方法来量化网络中顶点的相似性。最常见的是结构等效[18]。

如果两个顶点共享许多相同的网络邻居，那么它们在结构上是等价的。

以往关于网络嵌入的研究大多旨在通过高阶近邻来保持结构等价性[33,35]

将网络邻居扩展为高阶近邻，如直接近邻、近邻的近邻等（嵌套循环）。

然而，在许多情况下，顶点具有相似的角色或占据相似的位置，而没有任何公共邻居。例如：

两位母亲与丈夫和几个孩子的关系模式相同。 虽然如果两位母亲没有相同的亲属，她们在结构上并不对等，但她们确实扮演着相似的角色或职位。

这些情况使我们得到了顶点相似的扩展定义，称为正则等价。

如果两个顶点的网络邻居本身相似(即规则等价)，则它们被定义为规则等价

显然，规则等价是结构等价的一种松弛。结构等价保证了规则等价，但相反的方向不成立。

相比之下，规则对等更灵活，能够覆盖与结构角色或节点重要性相关的广泛的网络应用，但在很大程度上被网络嵌入的文献所忽视。

---

为了保持网络嵌入中的正则等价，即两个正则等价节点应该具有相似的嵌入。

一种简单的方法是显式计算所有顶点对的正则等价，并要求节点嵌入的相似性来近似其对应的正则等价。

但对于大规模网络来说，这是不可行的，因为计算规则等值的复杂性很高。

另一种选择是将常规等价替换为更简单的图论度量，例如中心性度量。

虽然已经设计了许多中心性度量来表征顶点的角色和重要性，但一个中心性只能捕捉网络角色的特定方面，这使得学习一般的和任务无关的节点嵌入变得困难。更不用说一些中心性度量，如中间性中心性，也具有很高的计算复杂性

如何在网络嵌入中有效、高效地保持正则等价仍然是一个有待解决的问题。

---

如前所述，正则等价的定义是递归的。这启发了我们以递归的方式学习网络嵌入，即一个节点的嵌入是通过它的邻居的嵌入聚合的

在一个递归步骤中(如图1所示)，如果节点3和5、4和6、7和8规则等价，因此已经具有类似的嵌入，则节点1和2将具有类似的嵌入，从而导致它们的规则等价为真。

---

正是基于这种思想，我们提出了一种新的深度递归网络嵌入(DRNE)方法。

更具体地说

• 我们将节点的邻居转换为有序序列
• 并提出了一种层归一化LSTM
• 以非线性的方式将邻居的嵌入聚合到目标节点的嵌入中。

我们从理论上证明了一些流行的和典型的中心性度量是我们模型的最优解。

实验结果还表明，学习的节点表示能够很好地保持成对正则等价，并预测每个节点的多个中心性度量的值。

---

本文有以下贡献:

• 我们研究了一个新的具有正则等价的节点表示学习问题，这是网络分析中的关键问题，但在网络表示学习的文献中被很大程度上忽略了。
• 我们找到了一种将全局正则等价相关信息融入到节点表示中的有效方法，并提出了一种新的深层模型DRNE，该模型通过以非线性的方式递归聚集邻居的表示来学习节点表示。
• 我们从理论上证明了所学习的节点表示能够很好地保持成对正则等价，并反映了几种流行的和典型的节点中心性。实验结果还表明，该方法在结构角色分类中明显优于中心性度量方法和其他网络嵌入方法。

2 RELATED WORK

现有的大多数网络嵌入方法都是沿着保持观察到的成对相似性和结构等价的路线发展的。

• DeepWalk[28]使用随机行走从网络中生成节点序列，并利用语言模型通过将序列视为句子来学习节点表示
• Node2vec[12]扩展了这一思想，提出了一个有偏二阶随机游走模型
• LINE[33]优化了一个目标函数，旨在保持节点的两两相似性和结构等价。
• M-NMF[36]将更宏观的结构——社区结构纳入到嵌入方法中
• Structural Deep Network Embedding 声称网络的底层结构是高度非线性的，并提出了一个深度自编码器模型，以保持网络结构的一阶和二阶邻近性。
• Label informed attributed network embedding & Attributed network embedding for learning in a dynamic environment：将节点属性加入到网络中，平滑地将属性信息和拓扑结构嵌入到低维表示中
• RolX[13]为节点枚举各种手工制作的结构特征，并为这个关节特征空间找到更适合的基向量
• 类似地，struc2vec[29]通过定义某种形式的中心性启发式来衡量结构相似性，对中心性相似性的显式计算使其不可扩展

在学习表示时，这些方法都不能保持规则等价

---

规则对等作为结构对等的一种放宽的概念，可以更好地捕捉结构信息

• REGE[7]和CATREGE[7]是通过迭代搜索两个顶点邻居的最优匹配来实现的
• VertexSim[18]利用线性代数的递归方法构造相似性测度。但由于规则等价的计算复杂度高，这在大规模网络中是不可行的

---

中心性度量是衡量网络中节点结构信息的另一种方法

为了研究如何更好地捕捉结构信息，提出了一组中心性[3,20,21] 由于它们中的每一个只捕获结构信息的一个方面，某种中心性不能很好地支持不同的网络和应用程序 此外，设计中心性度量的手工方式使得它们不太全面，无法纳入常规等效相关信息

综上所述，对于学习具有规则等价的节点表示，仍然没有很好的解决方案

结语

文章仅作为个人学习笔记记录，记录从0到1的一个过程

希望对您有一点点帮助，如有错误欢迎小伙伴指正