论文题目：ELECRec: Training Sequential Recommenders as Discriminators[1]
论文来源：SIGIR2022
代码地址：ELECRec
一、Motivation
Sequential recommendation is often considered as a generative task, i.e., training a sequential encoder to generate the next item of a user’s interests based on her historical interacted items. Despite their prevalence, these methods usually require training with more meaningful samples to be effective, which otherwise will lead to a poorly trained model.
序列推荐经常作为生成任务进行训练，基于用户的交互历史训练一个编码器，用于生成用户的下一个可能感兴趣的商品。尽管这种方式很流行，但是这些方法通常需要许多有意义的样本进行训练，否则就会训练出来一个不好的模型。
Instead of predicting the next item, our method trains a discriminator to distinguish if a sampled item is a ‘real’ target item or not.
代替了原始的下一个商品预测，作者提出的模型是作为判别器，用于判别某个商品是否为下一个商品。
二、Model
模型由三部分组成，NIP（下一个商品预测任务）、DataSampler（数据采样器）和判别器（判断商品是否为下一个商品）。第一部分和第三部分使用的都是transformer[2]作为encoder。
NIP任务就是预测当前item的下一个item。
生成器部分，生成最终的表示是用的softmax。
数据采样部分首先依据位置采样一部分序列出来，该采样出来的数据服从独立同分布。接着从生成器中依据刚刚采样的位置采样item，最后将原始的目标item替换为采样的item，将这个序列用于训练判别器。
判别器部分使用Sigmoid作为区分item的函数，使用BCE计算Loss。
最终使用joint-learning进行训练，总的Loss如下：
三、Data & Experments
主要使用了Yelp[3]和Amazon[4]的数据集。
四、Performance
从上表可以看出，ELECRec在多个数据集上都取得了SOTA的实验效果，并且其较于baseline有很大的提升。
五、Ablaton Study
（A）表示生成器和判别器使用权重相同的item嵌入；（B）表示两者使用不同的transformer；（C）表示只使用生成器，使用Softmax计算多类cross-entropy Loss（D）是基础模型，使用的BCE计算Loss。从表中可以看出，（A）与（B）相比，在有的数据集上使用共享权重的模型好，有的使用不同的模型参数训练效果好，这可能是因为数据集的原因。（C）与（D）相比，只有最后的计算Loss的方式不一样，但是效果提升较大，这说明了使用Softmax进行训练有较大的好处。
六、Conclusion
ELECRec通过引入判别任务使得实验结果获得显著提升，原因可能是判别器部分能够更好地捕捉item之间的交互关系，使得模型能够学习到更好的序列表示，从而提升推荐效果。
七、References
[1] Chen Y , Li J , Xiong C . ELECRec: Training Sequential Recommenders as Discriminators[J]. 2022.
[2] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones,Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. 2017. Attention is all you need. In Advances in neural information processing systems. 5998–6008.
[3] Yelp
[4] Julian McAuley, Christopher Targett, Qinfeng Shi, and Anton Van Den Hengel.2015. Image-based recommendations on styles and substitutes. In SIGIR. 43–52.
