cf020031308

原文地址：https://cf020031308.github.io/papers/2021-distilling-self-knowledge-from-contrastive-links-to-c

原文地址：https://cf020031308.github.io/papers/2021-bag-of-tricks-of-semi-supervised-classification-with-

通常的分类问题中，训练数据的标签是一个标签集合，称逻辑标签（Logic Labels）。 但实际上一个数据应该被标记为什么标签应该是一个更软性的概率，在各标签的概率向量称该数据的标签分布（Label Distribution）。 基于标签分布的分类训练效果会比基于逻辑标签更好，…

标题直译过来应该是“用于图神经网络上的标签传播的角色等价注意力”，但文章开头定义的包括“角色等价”一系列等价概念并没什么实质的意义，所以按我自己理解简化了标题。

推断网络：视特征矩阵 X 和邻接矩阵 A（但对角元为 1）为可观测变量，每个节点的隐变量 Z 在条件 X, A 下服从正态分布，其参数 $\mu$ 和 $\sigma$ 通过两个共享第一层的两层 GCN(X, A) 得到。 其中 SC 指 Spectral Clustering…

This survey considers GNNs as all deep learning aproaches for graph data. 再现：各节点持续与邻居节点通过消息传递（Message Passing）更新状态，直到稳定。 各层使用相同的再现函数。 $f_\t…

GAT 不像之前的网络如 GCN 般在卷积层里固定了每条边的权重（作为卷积核的参数），而是引入自注意力机制用节点的表示计算节点之间的相关性作为边的权重。在尤其是 Inductive Learning 的任务上远超已有方法。 另外，为了保持结构信息，只有相邻的节点之间会计算权重，…

图结构的交通时序数据：对时间 t 有图 $G_t = (V_t, E, W)$，其中 $V_t$ 是点集，在不同时刻有不同的值，E 是边集，W 是权重矩阵。 交通预测是指在已知之前 M 个交通观测的情况下，预测未来 H 个时间步后最可能的交通指标。 即已知 W，由 $v = (…

其中 $t_l$ 表示第 l 层的样本数，n 为全部节点数。 但其中 $W^{(l)}$ 每次迭代都会变，与 $h^{(l)}$ 的矩阵乘法也比较耗时。 也就是节点以正比于 $\hat A$ 矩阵中所在列 2 范数的概率被采样，计算简单且这个分布与层无关。 但作者没能证明这个估…