论文题目:Improving Graph Collaborative Filtering with Neighborhood-enriched Contrastive Learning [1]
论文来源:WWW2022
论文代码:NCL
一、Motivation
Existing methods typically construct the contrastive pairs by random sampling, which neglect the neighboring relations among users (or items) and fail to fully exploit the potential of contrastive learning for recommendation.
已有的方法使用随机采样用于对比部分结构,忽略了用户(商品)邻居之间的关系并且不能完全地发掘对比学习用于推荐的潜力。因此作者从图中引入了用户(或者商品)的邻居分别用于结构和语义对比学习。
上图是作者用Alibaba-iFashion数据集做的一个实验,使用随机采样的方法会使得采样的商品之间无明显的联系,并且随机采样是不可控的;结构采样与语义采样更加相关,更加适用于对比学习。
二、Model
上图说明了NCL中结构邻居和语义邻居与SGL的区别,两种选择正负样例的方法是不同的,对比的对象也是不同的。
上图是NCL的模型,该模型核心点就在于引入了两种对比学习框架。
We can obtain the representations of homogeneous neighborhoods from the even layer(e.g., 2, 4, 6) output of the GNN model. With these representations,we can efficiently model the relation between users/items and their homogeneous structural neighbors. Specifically, we treat the embedding of users themself and the embedding of the corresponding output of the even-numbered layer GNN as positive pairs.
将user自己的embedding与相应的GNN偶数层的输出作为正样例。Loss函数如下:
将item自己的embedding与相应的GNN偶数层的输出作为正样本。Loss函数如下:
总的结构对比Loss:
Similar users/items tend to fall in neighboring embedding space, and the prototypes are the center of clusters that represent a group of semantic neighbors. Thus, we apply a clustering algorithm on the embeddings of users and items to obtain the prototypes of users or items.
相似的用户或者商品倾向于映射到邻居嵌入空间,并且表示一组语义邻居的原型就是聚类的中心。因此,作者对于用户和商品的嵌入使用了聚类算法来获取用户和商品的原型。使用EM算法优化的目标是:
where Θ is a set of model parameters and R is the interaction matrix. And 𝑐𝑖 is the latent prototype of user 𝑢.
但上述目标难以进行优化,于是作者使用了Jensen’s inequality进行了简化,最终获得了语义对比Loss:
ci是user u的原型,通过K-means聚类获得
cj是item i的原型,通过K-means聚类获得
总的语义对比Loss:
三、Data & Experments
数据集: MovieLens-1M (ML-1M)[2], Yelp1[3], Amazon Books[4], Gowalla[5] and Alibaba iFashion[6].
四、Performance
五、Ablaton Study
首先是在ML-1M和Yelp两个数据集上面分别做了不加两个对比框架、去掉结构对比、去掉语义对比,加上两者在Recall@10上的结果比较:
从上图可以看出语义去掉语义对比后的实验结果是仅次于加上两者的,并且远远好于去掉结构对比,说明了结构对比在模型中的重要作用。
同时作者还做了关于使用不同的基础模型的结果对比,可以看出使用lightGCN效果是最佳的。
同时作者还做了关于结构对比重使用不同的hop的效果,可以看到使用第一个偶数层进行对比效果最佳,这也符合直觉感受,就是用户和商品应该与其直接邻居更相似,而不是间接邻居。
使用不同的K值进行聚类对于模型也有一定的影响。
六、Conclusion
通过捕捉邻居信息来进行对比学习,可以使得模型学习到更多有用的表示。通过引入两种对比学习框架,可以提升模型推荐效果。
七、References
[1] Lin Z , Tian C , Hou Y , et al. Improving Graph Collaborative Filtering with Neighborhood-enriched Contrastive Learning[J]. 2022.
[2] F Maxwell Harper and Joseph A Konstan. 2015. The movielens datasets: History and context. Acm transactions on interactive intelligent systems (tiis) 5, 4 (2015), 1–19.
[3] Yelp Dataset
[4] Julian McAuley, Christopher Targett, Qinfeng Shi, and Anton Van Den Hengel.2015. Image-based recommendations on styles and substitutes. In Proceedings of the 38th international ACM SIGIR conference on research and development in information retrieval. 43–52.
[5] Eunjoon Cho, Seth A Myers, and Jure Leskovec. 2011. Friendship and mobility:user movement in location-based social networks. In Proceedings of the 17th ACM SIGKDD international conference on Knowledge discovery and data mining.1082–1090.
[6] Wen Chen, Pipei Huang, Jiaming Xu, Xin Guo, Cheng Guo, Fei Sun, Chao Li,Andreas Pfadler, Huan Zhao, and Binqiang Zhao. 2019. POG: personalized outfit generation for fashion recommendation at Alibaba iFashion. In Proceedings of the 25th ACM SIGKDD international conference on knowledge discovery & datamining. 2662–2670.