LightGCN阅读笔记《LightGCN: Simplifying and Powering Graph Convol

1、问题描述

问题：NGCF中的GCN操作存在冗余。

对于user-item二部图，如果输入为ID embedding的时候，GNN的feature transform以及非线性操作没什么用，只保留GNN最核心的邻居聚合操作就行了（对比NGCF）。

Input node feature：

h^{(0)} = Embedding(ID)

LightGCN网络中唯一的参数：embedding。

h_u^{(l+1)} = \sum_{i \in N_u}\frac{1}{\sqrt{|N_u|}\sqrt{|N_i|}}h_i^{(l)} \\ h_i^{(l+1)} = \sum_{u\in N_i}\frac{1}{\sqrt{|N_u|}\sqrt{|N_i|}}h_u^{(l)}

只保留了对称归一化和邻居聚合。

问题	解释
去掉W_2的同时，为什么把 $\sum_{i \in N_u} (h_i^{(l)} \odot h_u^{(l)})$ 也去掉了？
去掉W_1的同时，self-connection $h_u^{(l)}$ 也去掉了？	最后JK连接，有类似的效果，所以去掉了

h_u = \sum_{l=0}^{L}\alpha_{l}h_u^{(l)} \\ h_i = \sum_{l=0}^{L}\alpha_{l}h_i^{(l)}\\ \alpha_{l} = \frac{1}{L+1}

相当于把每一层进行加权求和/mean。注意，从0层原始特征开始。

y_{ui} = h_u \odot h_i \\ Loss = -\sum_{u=1}^{M} \sum_{i\in N_u} \sum_{j \notin N_u} ln \sigma (y_{ui} - y_{uj}) + \lambda||W_{embedding}||^2

点积表示分数，bayes personalized ranking loss希望u和i如果是邻居，分越高越好。后面是L2正则化，防止过拟合。

和NGCF的一样：

最主要的还是对于NGCF的消融实验，发现左乘W和leakyrelu没什么用。

不同层数：

和其他baseline的比较：