论文题目：Augmenting Sequential Recommendation with Pseudo-Prior Items via Reversely Pre-training Transformer[1]
论文来源：SIGIR2021
官方代码
一、Motivation
Transformer-based models suffer from the cold-start issue,i.e., performing poorly for short sequences.Therefore, we propose to augment short sequences while still preserving original sequential correlations.
基于transformer[2]的模型因为冷启动的原因，再短序列上表现较差。因此作者提出一个保留原始序列关系的短序列增强方法。
由上图可知，SASRec[3]和BERT4Rec[4]在统一数据集上随着序列长度的增加，训练效果越好。
二、Model
模型使用的双向transformer，先将所有原始数据进行取反，用于反向训练。例如：
原始训练序列：[1,2,3,4,5]，其中5是推荐任务的target，4是验证的target，3是训练的target。
取反之后序列：[5,4,3,2,1]，其中1是预训练任务的target，2是验证的target，3是训练的target。
扩充之后序列：[9,2,4,8,6,7,1,2,3,4,5]，其中5是微调任务的target，4是验证的target，3是训练的target。
模型训练分为预训练和微调阶段，使用同一个双向transformer，先预训练，然后将模型和扩充之后的数据一并用于下游的微调任务。
三、Data & Experments
数据集使用了Amazon的两个数据集，Beauty[5],Cell Phones[5]。
四、Performance
五、Ablaton Study
M表示的需要扩充的数据的下限（就是长度低于M就需要扩充），K表示扩充的长度。可见M和K的值都是越大，效果越好。可见扩充更多的数据对于推荐来说是有好处的。
六、Conclusion
本篇文章是第一篇使用反向预训练transformer来做数据扩充，实验效果证明了该方法的有效性。
七、References
[1] Liu Z , Fan Z , Wang Y , et al. Augmenting Sequential Recommendation with Pseudo-Prior Items via Reversely Pre-training Transformer[J]. ACM, 2021.
[2] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez,L. Kaiser, and I. Polosukhin, “Attention is all you need,” in NIPS, 2017.
[3] Kang W C, McAuley J. Self-attentive sequential recommendation[C]//2018 IEEE International Conference on Data Mining (ICDM). IEEE, 2018: 197-206.
[4] Sun F , Liu J , Wu J , et al. BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer[J]. 2019.
[5] Amazon
