论文题目：Learning Transferable User Representations with Sequential Behaviors via Contrastive Pre-training[1]
论文来源：ICDM2021
一、Motivation
Learning effective user representations from sequential user-item interactions is a fundamental problem for recommender systems (RS).
从用户与商品交互的序列行为中学习有效的用户表示对于推荐系统来说是一个基础性问题。
There exist important gaps between such item-level optimization objective and user-level representations, and as a result, the learned user representations may only lead to sub-optimal generalization performance.
在用户级别的表示和商品级别的表示之间仍然存在重大的空缺，因此其学习到的用户表示可能会导致结果出现次优的表现。
We propose a novel self-supervised pre-training framework, called CLUE, which stands for employing Contrastive Learning for modeling sequence-level User rEpresentation.
作者提出一个新的自监督预训练框架CLUE，使用对比学习用于对序列级别的用户进行建模。
二、Model
模型主要由三部分构成，DA（数据增强）、Encoder（编码器）、Predictor（预测器），下面分别对这三部分进行介绍。
DA部分，作者指出主要存在两种形式的数据增强，第一种是显式的，是在数据放入模型之前进行的，第二种是隐式的，是在数据放入模型之后进行的，如下图所示：
对于显示数据增强方式主要有三种：mask（掩盖）、crop（剪切）、permutation（乱序），这种数据增强方式会在一定程度上破坏数据之间的潜在关系。对于隐式数据增强方式主要有两种：dropout（剔除）、mask（掩盖），这种数据增强方式对于原始数据的破坏效果更少。
Encoder部分，进一步细分为UEE（User embedding encoder）、PH（Projection head）；UEE使用的SASRec[2]，PH使用的是3层的全连接层CF（每一层都接一个batch正则化BN）。并且其在微调阶段只保留上述部分模型。
Predictor部分，作者指出为了防止模型坍塌，引入了2层的FC和BN作为预测头部，通过模型可以注意到该部分只使用与视图一（学生网络），目标是为了使得两个视图的结构差异化。
作者直接使用最后输出的两个tensor的余弦相似度作为优化对象。
sg(z)表示z的梯度停止下降。
三、Data & Experments
这里的数据集主要使用了两个，主要来自于：QQ Browser[3]、QQ Kandian[4]、Moivelens[5]
四、Performance
由结果可以看出，CLUE在冷启动数据集上结果是好于baseline的。
五、Ablaton Study
CLUEZero是没有使用预训练任务的模型，从上图可以看出CLUE通过预训练是可以学习到一些有用的表示的。
从上图可以得知，通过添加预训练任务，其在稀疏数据集上的实验结果与不使用预训练任务的实验结果相差较大，说明预训练在一定程度上可以缓解数据稀疏的问题。
上图比较了使用不同的数据增强策略用于对比预训练任务的实验结果，可以看出使用隐式数据增强的结果是优于显式数据增强的，可能是因为显式数据增强方式一定程度上破坏了序列间原有的关系。
六、Conclusion
本篇文章使用对比学习范式+预训练范式的结合形式来学习用户的表示，进而用于不同的下游任务，从实验结果可以看出，该方法在几个数据集上都取得了比较好的效果。
七、References
[1] Cheng M, Yuan F, Liu Q, et al. Learning Transferable User Representations with Sequential Behaviors via Contrastive Pre-training[C]//2021 IEEE International Conference on Data Mining (ICDM). IEEE Computer Society, 2021: 51-60.
[2] Kang W C, McAuley J. Self-attentive sequential recommendation[C]//2018 IEEE International Conference on Data Mining (ICDM). IEEE, 2018: 197-206.
[3] QQ brower
[4] QQ Kan dian
[5] Moivelens
