巴拉巴拉朵

后来工业界和学术界都证明序列建模能够有效提升用户建模的精度，头部大厂开始有人在序列建模领域专注研究，其中尤其以阿里的序列建模出名，一系列序列建模相关论文一发表就受到广泛关注，为序列建模领域开辟出一片光

TWIN首先提炼出一个框架，将现有的的长序列建模总结为两阶段建模：先用GSU选择出topK，再用ESU提取信息。

本文提出的SDIM(Sampling-based Deep Interest Modeling),基于采样的端到端的方法来建模长期用户行为序列。从多个hash函数中采样产生候选物料和用户序列行为的ha

本文提出的基于搜索的兴趣模型(SIM)通过两个级联搜索单元提取用户兴趣，在可伸缩性和可扩展性方面更准确地建模终身序列行为，SIM对顺序用户行为数据进行建模最大长度达54000。

受Reformer的启发，我们提出了一种称为 ETA（End-to-end Target Attention）可以大大降低训练和推理成本，并端到端训练长期用户行为序列。

对于序列建模，实践了机器学习算法与在线服务协同设计的CTR预测系统，理论上可以处理无限长的用户序列。使用NTM的记忆矩阵来存储用户长序列，同时对NTM进行正则化的优化，进一步使用GRU提取用户兴趣

FinalMLP:An Enhanced Two-Stream MLP model for CTR Prediction 摘要 Two-Stream model：因为一个普通的MLP网络不足以学到丰富

GPT 采用两阶段法，第一阶段无监督预训练，第二阶段针对不同的任务进行有监督地精调。预训练阶段GPT使用Transformer的decoder结构。 给定句子$U={u_1, u_2, ..., u_

EGES：Billion-scale Commodity Embedding for E-commerce Recommendation in Alibaba 阿里的EGES是Graph Embedd