cf020031308

权重 g 因中心节点 x 而异，所以也可以看作一个注意力。 里面后两部分分别为最大池化和平均池化，所以作者文章中说用到了卷积层。

现在的 GNN 方法学到的节点表示依赖于所在邻域的结构，无法捕获更广范围的图的结构。 导致图中两点如果有相同的局部结构，就会学到相同的表示，从表示上无法区分开。 M(v) 降维为 z(v) 是右乘了一个列向量，相当于 M(v) 的任一行经相同的线性组合成为 z(v) 的一维，所…

所以直观地看，就是距离远的 x 和 y（上）经过随机旋转很容易被转到不同区域，但如果两者较近（下），就更容易保持在同一区域。 稀疏性：softmax 的结果取决于最大的那一批元素，所以注意力权重主要依赖于最相关的那部分。反映到注意力矩阵中就是它的（软）稀疏性。如图 a 有点的就…

论文主要研究 Cross-polytope LSH 算法，包括理论分析（Optimal）和性能改进（Practical），我这里只关心后者。 Cross-polytope LSH 的距离度量是角距离（angular distance），等效于归一化到单位球面上之后的欧拉距离。 …

精确的最近邻搜索算法（Nearest Neighbor Search, NN）在高维空间中很慢，所以发展出了近似最近邻搜索（Approximate Nearest Neighbor Search, ANN），其中一支就是局部敏感哈希算法（Locality Sensitive H…

一个经验：ogbn-arxiv 数据集中，只是简单地将节点分类为领域中最多的类就能有 61% 的准确率。 将训练集上的结果传播到全图，直至收敛。 最小化。前一部分的最小化保证估计是平滑的，后一部分保证估计结果与实际结果尽量近。 C&S 流程中，除了 Smooth 环节…

当前基于深度学习的图表示学习方法大多遵循一种邻域聚合（或消息传递）的模式。 比起在一定范围内打转的 tree 型，同样走 4 步，core 型节点的邻域几乎包含了整个图。 作者因此提出如上图的架构，简单来说就是将基础 GNNs 模型的每一层表示再聚合一下，因此可以加深 GNNs…

这篇文章分析了图卷积网络（Graph Convolutional Networks, GCN）和标签传播算法（Label Propagation Algorithm, LPA）的理论关系，证明能提升 LPA 效果的边权重也能改善 GCN，进而提出 GCN-LPA 模型，将 LP…

如果公式、图片显示有问题，请查看原文。 链式法则：一条路径的偏微分为路径上各相邻节点间偏微分的连乘。 其中每条边上标记有前向计算时的结果（红色数字）与尾节点（上层节点）对头节点（下层节点）的偏微分。 因为任意两个节点间的梯度为它们两节点之间所有路径的偏微分之和（这个例子没体现出…