【论文笔记】struc2vec: Learning Node Representations from Structural Identity【1】

347

持续创作,加速成长!这是我参与「掘金日新计划 · 6 月更文挑战」的第8天,点击查看活动详情

前言

Hello!

非常感谢您阅读海轰的文章,倘若文中有错误的地方,欢迎您指出~  

自我介绍 ଘ(੭ˊᵕˋ)੭

昵称:海轰

标签:程序猿|C++选手|学生

简介:因C语言结识编程,随后转入计算机专业,获得过国家奖学金,有幸在竞赛中拿过一些国奖、省奖...已保研。

学习经验:扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语!  

唯有努力💪  

知其然 知其所以然!

本文只记录感兴趣的部分

ABSTRACT

结构标识是一种对称概念,根据网络结构及其与其他节点的关系来标识网络节点

本文提出了一种新的、灵活的框架struc2vec,用于学习节点结构身份的潜在表示。Struc2vec使用层次结构来度量不同尺度上的节点相似性,并构建一个多层图来编码结构相似性,为节点生成结构上下文。

实验表明,学习节点表示的最先进技术无法捕获更强的结构身份概念,而struc2vec在这项任务中表现出更优越的性能

1. INTRODUCTION

在几乎所有的网络中,节点往往具有一种或多种功能,这些功能在很大程度上决定了它们在系统中的角色

可以根据节点在网络中的作用将其划分为等价类


最常见的实用方法来确定节点的结构身份是基于距离递归

  • 基于距离:使用一个利用节点邻域的距离函数来测量所有节点对之间的距离,然后进行聚类或匹配,将节点放入等效类中 -基于递归: 构造一个关于相邻节点的递归,然后迭代展开,直到收敛,用最后的值来确定等价类

这些方法各有利弊,但我们提供了一种替代方法:一种基于对节点的结构标识表示无监督学习的方法。


最近 一些 学习网络中节点的潜在表示(网络嵌入) 的方法(DeepWalk、 node2vec)在执行分类和预测任务方面取得了成功:将节点编码为上下文,使用其邻域的广义概念(随机游走一定的步数,或有共同邻域的节点)。

==> 具有相似节点集的邻域的节点应该具有相似的潜在表示

若一些节点的领域中的节点集很相似,则这些节点应该具有相似的潜在表示

但存在一个问题:尽管两个节点的领域结构相似,但相距很远,所以不会有相似的潜在表示。

下图可以说明这个问题:

  • 其中节点uuvv具有类似的局部结构,但在网络中相距很远
  • 由于它们的邻域没有公共节点,DeepWalk、 node2vec等方法则不能捕捉它们的结构相似性

在这里插入图片描述


为什么最近一些学习节点表示的方法,如DeepWalk[16]和node2vec[6],在分类任务中成功,但在结构等价任务中往往失败

在这里插入图片描述


struc2vec

  • 一个可扩展的框架
  • 用于学习节点结构身份的潜在表示

struc2vec关键思想:

  1. Assess structural similarity between nodes independently of node and edge aŠributes as well as their position in the network
  2. Establish a hierarchy to measure structural similarity, allowing progressively more stringent notions of what it means to be structurally similar
  3. Generates random contexts for nodes, which are sequences of structurally similar nodes as observed by a weighted random walk traversing a multilayer graph (and not the original network).

2. RELATED WORK

DeepWalk

Learning a language model from a network was first proposed by DeepWalk [ 16 ]. It uses random walks to generate sequences of nodes from the network, which are then treated as sentences by Skip-Gram.

node2vec

Intuitively, nodes close in the network will tend to have similar contexts (sequences) and thus have embeddings that are near one another. this idea was later extended by node2vec

By proposing a biased second order random walk model, node2vecprovides more ƒexibility when generating the context of a vertex. In particular, the edge weights driving the biased random walks can be designed in an aŠempt to capture both vertex homophily and structural equivalence

DeepWalk和node2vec的缺点

如果结构相似的节点的距离(跳数)大于Skip-Gram窗口,则它们永远不会共享相同的上下文

subgraph2vec

subgraph2vec [ 14] is another recent approach for learning embeddings for rooted subgraphs, and unlike the previous techniques it does not use random walks to generate context. Alternatively, the context of a node is simply de€ned by its neighbors. Additionally,subgraph2vec captures structural equivalence by embedding nodes with the same local structure to the same point in space. Nonetheless, the notion of structural equivalence is very rigid since it is de€ned as a binary property dictated by the Weisfeiler-Lehman isomorphism test [ 21]. Œus, two nodes that are structurally very similar (but fail the test) and have non-overlapping neighbors may not be close in space.

Subgraph2vec[14]是另一种最近用于学习有根子图的嵌入的方法,与之前的技术不同,它不使用随机漫步来生成上下文。或者,一个节点的上下文只是由它的邻居确定。此外,subgraph2vec通过将具有相同局部结构的节点嵌入空间中的同一点来捕获结构等价性。尽管如此,结构等价的概念是非常严格的,因为它被定义为由Weisfeiler-Lehman同构检验[21]所规定的二元性质。对于我们来说,两个在结构上非常相似(但没有通过测试)且具有非重叠邻居的节点在空间上可能并不相近。

RolX

this is unsupervised approach is based on enumerating various structural features for nodes, finding the more suited basis vector for this joint feature space, and then assigning for every node a distribution over the identi€ed roles (basis), allowing for mixed membership across the roles. Without explicitly considering node similarity or node context (in terms of structure), RolX is likely to miss node pairs that are structurally equivalent.

这种无监督的方法是基于枚举节点的各种结构特征,为该联合特征空间找到更适合的基向量,然后为每个节点分配在已识别的角色(基)上的分布,允许跨角色的混合成员。没有明确考虑节点相似性或节点上下文(根据结构),RolX很可能会错过结构上等价的节点对

结语

文章仅作为个人学习笔记记录,记录从0到1的一个过程

希望对您有一点点帮助,如有错误欢迎小伙伴指正

在这里插入图片描述