cf020031308

原文地址：https://cf020031308.github.io/papers/2021-distilling-self-knowledge-from-contrast...

原文地址：https://cf020031308.github.io/papers/2021-bag-of-tricks-of-semi-supervised-classi...

通常的分类问题中，训练数据的标签是一个标签集合，称逻辑标签（Logic Labels）。 但实际上一个数据应该被标记为什么标签应该是一个更软性的概率，在各标签的概率向量称该...

标题直译过来应该是“用于图神经网络上的标签传播的角色等价注意力”，但文章开头定义的包括“角色等价”一系列等价概念并没什么实质的意义，所以按我自己理解简化了标题。...

推断网络：视特征矩阵 X 和邻接矩阵 A（但对角元为 1）为可观测变量，每个节点的隐变量 Z 在条件 X, A 下服从正态分布，其参数 $\mu$ 和 $\sigma$ 通...

This survey considers GNNs as all deep learning aproaches for graph data. 再现：各节点持续与邻居节...

GAT 不像之前的网络如 GCN 般在卷积层里固定了每条边的权重（作为卷积核的参数），而是引入自注意力机制用节点的表示计算节点之间的相关性作为边的权重。在尤其是 Induc...

图结构的交通时序数据：对时间 t 有图 $G_t = (V_t, E, W)$，其中 $V_t$ 是点集，在不同时刻有不同的值，E 是边集，W 是权重矩阵。 交通预测是指在...

其中 $t_l$ 表示第 l 层的样本数，n 为全部节点数。 但其中 $W^{(l)}$ 每次迭代都会变，与 $h^{(l)}$ 的矩阵乘法也比较耗时。 也就是节点以正比于...

权重 g 因中心节点 x 而异，所以也可以看作一个注意力。 里面后两部分分别为最大池化和平均池化，所以作者文章中说用到了卷积层。...

现在的 GNN 方法学到的节点表示依赖于所在邻域的结构，无法捕获更广范围的图的结构。 导致图中两点如果有相同的局部结构，就会学到相同的表示，从表示上无法区分开。 M(v) ...

所以直观地看，就是距离远的 x 和 y（上）经过随机旋转很容易被转到不同区域，但如果两者较近（下），就更容易保持在同一区域。 稀疏性：softmax 的结果取决于最大的那一...

论文主要研究 Cross-polytope LSH 算法，包括理论分析（Optimal）和性能改进（Practical），我这里只关心后者。 Cross-polytope ...

精确的最近邻搜索算法（Nearest Neighbor Search, NN）在高维空间中很慢，所以发展出了近似最近邻搜索（Approximate Nearest Neig...

一个经验：ogbn-arxiv 数据集中，只是简单地将节点分类为领域中最多的类就能有 61% 的准确率。 将训练集上的结果传播到全图，直至收敛。 最小化。前一部分的最小化保...

当前基于深度学习的图表示学习方法大多遵循一种邻域聚合（或消息传递）的模式。 比起在一定范围内打转的 tree 型，同样走 4 步，core 型节点的邻域几乎包含了整个图。 ...