OneMall：一种架构，多种场景 —— 快手电商端到端生成式推荐系统家族
摘要
在生成式推荐的浪潮中，我们提出了 OneMall，这是一个为快手电商服务量身打造的端到端生成式推荐框架。OneMall 系统地整合了电商的多种商品分发场景，如商品卡片、短视频和直播。具体而言，它包含三个关键组件，使整个模型训练流程与大语言模型的预训练 / 后训练相匹配：（1）电商语义分词器：我们提供了一种分词器解决方案，能够捕捉不同场景下的真实世界语义和特定业务的商品关系；（2）基于 Transformer 的架构：我们主要采用 Transformer 作为模型骨干，例如，使用 Query-Former 进行长序列压缩，使用交叉注意力进行多行为序列融合，以及使用稀疏 MoE 实现可扩展的自回归生成；（3）强化学习流程：我们通过强化学习进一步连接检索和排序模型，使排序模型能够作为端到端策略检索模型优化的奖励信号。大量实验表明，OneMall 在所有电商场景中都实现了持续改进：商品卡片场景的 GMV 提升 14.7%，短视频场景的 GMV 提升 10.3%，直播场景的 GMV 提升 4.9%。OneMall 已完成部署，为快手超过 4 亿日活跃用户提供服务。
1 引言
大语言模型成功经验。众所周知，OpenAI的缩放定律[1]为自然语言处理（NLP）领域中大语言模型的缩放技术路线做出了显著贡献。这些定律直接促使众多研究人员从数据量、模型大小、计算资源和推理等角度去追求大语言模型智能的极限性能。回顾来看，大语言模型的成功可归功于以下进展：
