深度学习推荐系统 - 概述

219 阅读2分钟
  1. 推荐系统的逻辑框架: 用户user 在某特定场景context下,对某个事物(item)的喜好打分:f(U,I,C)

Screen Shot 2021-08-07 at 11.33.42 AM.png

  1. 推荐系统技术架构

推荐系统的数据部分: 主要负责“用户”“物品”“场景”的信息收集与处理. 1)获取原始数据(Input),通过以下三种方式配合使用 “客户端及服务器端实时数据处理” “流处理平台准实时数据处理” “大数据平台离线 数据处理” 2) 加工 3)数据出口: 推荐模型所需的样本数据,用于算法模型的训练和评估 推荐模型服务(model serving)所需的“特征”,用于推荐系统的线上推断 系统监控、商业智能系统所需的统计型数据

推荐系统的模型部分: 模型服务过程: 召回:利用高效的召回规则、算法或简单的模型,快速从海量的候选集中召回用户可能感兴趣的物品。 排序:排序模型对初筛的候选集进行精排序 补充策略与算法层(再排序层):将推荐列表返回用户之前,为兼 顾结果的“多样性”“流行度”“新鲜度”等指标,结合一些补充的策略和算法对推荐列表进行 一定的调整,最终形成用户可见的推荐列表

模型训练: “离线训练”:可以利用全量样本和特征,使模型逼近全局最优点 “在线更新”:在线更新则可以准实时地“ 消化”新的数据样本,更快地反映新的数据变化趋势,满足模型实时性的需求 问题是:离线和在线是如何配合的呢?

评估推荐模型的效果: 离线评估:问题是咋评估的? 线上A/B测试 ...

所有上述组件都非常重要,但是核心还是排序层。直接或间接影响了产出结果。