Deconfounding Duration Bias in Watch-time Prediction for Video Recommendation

284 阅读2分钟

一,背景

  1. 介绍:KDD2022,快手
  2. 业务:短视频推荐,目标是增加用户观看时长,手段是观看时长预估模型。
  3. 动机:提升观看时长不仅取决于用户和item的匹配,也与视频本身时长相关。如果忽略视频本身时长的影响,模型容易推出更长时长的视频。因此,在这种不平衡的数据上训得的模型,就面临bias放大的风险,导致进入到不断推荐本身时长更长视频的恶性循环、忽略用户真实兴趣表达。
  4. 原文:dl.acm.org/doi/pdf/10.…

业务场景图: image.png 下面是两个数据分析:首先是视频时长在100s以下短视频,随着视频时长的增加、观看时长也正增加。因此,将视频时长增加到模型特征中来预估观看时长,会带来bias。 image.png 另外是,随着视频时长增加,长视频的曝光占比逐渐增加,因此模型样本会被长视频占据,无法实际刻画用户兴趣。 image.png

  1. 方案:将“视频时长”看作同时影响短视频曝光和用户观看时长的混淆变量,通过绘制因果图,剪除视频时长对短视频曝光的导致的偏差问题,提出了一个模型解决框架:Duration-Deconfounded Quantile-based watch-time prediction framework(D2Q观看时长预测模型)

二,框架

2.1 causal model of watch-time prediction 观看时长预估因果模型

利用因果图,绘制得到用户U、视频V、视频时长D、观看时长W的关系如下: image.png
从图中看到,视频时长D通过两条路径影响观看时长W,分别是:D->W、 D->V->W。D->V->W将更多的长视频引入样本中,带来了bias,因此应该剪断。

2.2 backdoor adjustment for duration bias 针对时长偏置的后门准则调整

基于因果图的建模,可以明确得到两个信息:
1)消除视频时长偏置;
2)保留视频时长对观看时长的影响。

image.png

使用后门准则,作者将不同时长的视频分开建模,再加和每种长度视频的建模结果,以此来消除视频时长对观看时长的混淆影响:

image.png 作者基于时长分位数来划分数据,降低遍历所有视频时长带来的开销,因此变成了每个时长分桶下建立一个模型预估观看时长: image.png 从预估观看时长 ->预估观看时长分位数,实现参数共享: image.png

2.3 model framework 模型框架

训练: image.png 推理: image.png 分组观看时长预估模型  的三种结构:
1)每个分组独立预测;
2)所有分组共享模型参数;
3)所有分组共享模型参数,同时对视频时长进行残差拼接到预测结果上。 image.png

三,实验

offline: image.png online: image.png

附录

  1. mp.weixin.qq.com/s/tBJSsAen5…
  2. 源码 github.com/MorganSQ/Ks…