论文题目：MISS: Multi-Interest Self-Supervised Learning Framework for Click-Through Rate Prediction[1]
论文来源：ICDE2022
一、Motivation
Methods suffer from the risk of label sparsity (i.e., the user-item interactions are highly sparse with respect to the feature space), label noise (i.e., the collected user-item interactions are usually noisy), and the underuse of domain knowledge (i.e., the pairwise correlations between samples).
现有的方法面对数据稀疏（用户与商品交互数据在特征空间中稀疏），标签噪声（已有的用户商品的交互数据中通常存在噪音），并且没有充分利用领域知识（样品之间的关系）。
现有的自监督学习方法通常采用以下数据增广方式进行数据扩充
上述这四种方式在对数据进行增广的同时也引入了噪声，在从用户交互历史中捕捉用户的兴趣时，如果使用上述方式会破坏序列间的隐藏关系，导致捕捉到的用户兴趣是歧义的。例如对同一个batch内的数据进行增广后得到两个视图，这两个视图可能进行学习会得到不同的用户兴趣，从而影响模型效果。
作者文中指出，用户的兴趣应该从两个维度，四个方向出发进行考虑，如下图所示:
第一个维度是针对兴趣类型而言的：单个商品，point-wise展现出的用户兴趣；一段商品，union-wise；第二个维度就是针对长短期兴趣而言的：短期兴趣和长期兴趣。
二、Model
主要关注MISS框架部分，其输入维度为JxLxK的一个三维tensor
MIE是由多个不同大小卷积核所组成的的CNN encoder，MIMFE与MIE类似。MIE用于捕捉用户的单点兴趣和联合兴趣，包含多个水平卷积操作，其输出转为两部分，第一部分经过MLP之后获得最终表示，最终用于对比学习；第二部分作为MIMFE的输入。MIMFE用于捕捉特征级别的关系，其包含多个垂直卷积操作，然后经过MLP之后，用于对比学习。
如上图所示，MIE包含多个不同的卷积核，大小从1~M，用g1~gM 表示。输入的维度为JxLxK，J表示item的特征数目（类别、生厂商等等），L表示输入序列的长度，K表示embedding的维数。MIE卷积操作之后所得的tensor维数为Jx(L-m+1)xK。gm ∈ R1×m×1是卷积核的维数，m属于[1,M]。
表示C经过划分所得的tensor，其中l属于[1,L-m+1]。
MIE可以表示为：
其中的Flat(·)是一个打平函数，将一个JxK维的向量，打成JK维的向量。
数据增广操作如下：
从MIE的最终的|T|个表示中，根据步长h（h属于[1,H]），随机选取两个使用同一个卷积核所得的表示，作为两个正向视图，这样选取P次可以得到最周的表示。
三、Data & Experments
Amazon[2]，Alipay[3]
四、Performance
五、Ablaton Study
不同的模型加上MISS框架之后的效果对比：
MISS框架加上不同的基础模型的效果对比：
使用不同的训练方式的效果对比：
六、Conclusion
MISS框架使用卷积操作捕捉用户的兴趣用于对比学习，该框架在多个数据集上取得SOTA效果，可见该框架的有效性。
七、References
[1] Guo W, Zhang C, He Z, et al. MISS: Multi-Interest Self-Supervised Learning Framework for Click-Through Rate Prediction[J]. arXiv preprint arXiv:2111.15068, 2021.
[2] Amazon
[3] Alipay
