1.GAN和推荐系统融合问题:
(选自论文APL)
- 对抗角度:GAN容易梯度消失,更新不稳定。而数据的稀疏性会降低对抗训练的性能。
- 推荐角度:离散型项目的生成问题。GAN生成时为可微分值设计的,离散型无法使用梯度下降进行优化。为了解决这个问题,解决此问题有两方面的工作。SeqGAN(Yu Zhang,Wang,&Yu,2017)将离散数据生成动作视为随机策略,并应用策略策略(Sutton et al。,2000)来估计生成器梯度。另一种方法(Jang,Gu,Poole,2017;Maddison,Mnih,Teh,2017)使用可微过程模拟离散项目生成过程,并通过反向传播直接优化模型。
2.发展历程
- 2017年满分论文IRGAN,是首个将GAN应用于推荐系统当中的。最开始提出的目的是统一检索领域的两大模型。生成器预测和查询最为相关的文档,判别器判别送过来的两个文档和查询的相关性。
- 2018年8月SIGIR上发表的APR改进了BPR(Bayesian Personalized Ranking)。GAN的对抗思想融合到BPR中,在模型中加入扰动(根据FGSM算法),最终提高了模型的鲁棒性。
- 2018年10月CIKM上发表的CFGAN。 解决了IRGAN中的一些问题,并对协同过滤进行了优化。CFGAN重点关注在那些“购买”的商品,即框架丢了部分生成器生,用户实际上未购买的物品。解决了disctete item index genneration的局限性。如:物品1,被标记未真实数据,但又被标记未生成数据。判别器会收到干扰,使性能下降。
- 2019年3月在ScienceDirect上的APL提高了对抗学习的稳定性和收敛效果。与IRGAN不同,IRGAN解决离散项目生成使用的使SeqGAN中提到的策略梯度算法。APL使用的是用可微程序模拟离散项目生成,并通过反向传播优化模型。
- 2019年Rescys上发表的Adversarial Attacks on an Oblibious Recommender 从机器学习优化角度重新审视了对推荐的对抗攻击。假设推荐系统不知道攻击者的存在,攻击者知道推荐系统的损失函数以及参数表示,但是不知梯度。利用GAN的生成器生成虚假的交互矩阵来保留用户的评分分布。并且使用投影梯度下降法来解决梯度问题。
- 2019年,AugCF通过对数据扩充来缓解协同过滤中的稀疏性问题。比较巧妙地是AugCF的判别器有两个过程:1)生成器生成数据,判别器判断数据真假;2)生成器固定,训练判别器,判别器预测用户喜欢活着不喜欢的东西。该方法也是用了Gumbel-softmax方法解决离散抽样问题。(与APL中解决方法一致)
- 2019年RAGAN(BT)通过数据填充来缓解稀疏性问题。着重解决的是,数据填充过程中,评级偏差的影响(算是OCCF问题:仅给出积极例子的协同过滤。只有正反馈无负反馈)。因为一般人们会给喜欢的进行评分,所以评分数据可能都比较高,影响填充效果。因此使用CDAE挑选负反馈样本,之后再用GAN进行数据增强,最后在使用AutoRec方法进行推荐。这也是提出方法的步骤。