RecSys中的评估、偏见与算法探讨

3 阅读5分钟

某机构在RecSys大会:评估、偏见与算法

某机构学者Pablo Castells谈推荐系统研究中的趋势。

作者:Larry Hardesty
2021年9月24日
5分钟阅读

会议

RecSys 2021

某机构科学家发表论文的某些会议讨论的主题——如计算机视觉或自然语言处理——早在实际应用成为可能之前就已是科学研究的对象。

ACM推荐系统会议(RecSys)不属于此类会议。推荐系统——如同在某某商店中向客户推荐产品的系统——很大程度上是互联网时代的产物。

“RecSys的行业参与度非常高,”某机构学者、马德里自治大学计算机科学副教授、本届RecSys高级程序主席及博士项目主席Pablo Castells表示,“我认为它比我通常关注的其它会议参与度更高。但我职业生涯大部分时间在学术界,我一直以非常学术的方式从事推荐研究。我认为可以抽象出问题本身,处理数学问题,用小数据做实验等。”

Castells认为当今该领域有三个特别值得关注的主题:评估、偏见与算法。

评估

“如何判断推荐系统是否正常工作?”他说,“这是一个广泛的问题,在线处理时有其自身挑战,比如在生产系统中通过A/B测试等。离线解决甚至更难。我认为近期的一个趋势是,推荐系统的客户不仅是最终消费者,还包括卖家或提供推荐的服务本身。因此,算法的有效性应从不同角度衡量,考虑推荐中涉及的不同利益相关方。”

Castells解释说,即使针对特定客户,衡量推荐系统性能的方式也未必明确。“推荐系统有效不仅在于它准确预测你喜欢什么,而在于它提供的内容是否有用。什么对你有用取决于上下文,也取决于目的。例如,我想听熟悉的喜欢音乐,还是想发现新音乐,这两者不同。推荐的价值是多方面、多维度的。过去一二十年人们对此的认识有所提高。”

“这也关联到另一个视角,即认识到推荐系统既试图让用户满意,又需要向用户学习。当你向用户推送一组产品时,有两个目的:一是取悦用户,二是学习更多,通过学到的知识在未来做出更好的推荐。实际上,这两个目标并不总是一致。”

偏见

Castells表示,偏见包括但不限于近期AI领域紧迫的公平性问题。“偏见是一个非常普遍的问题,有多个不同角度。偏见可能使系统失效,因为你反复推荐相同内容。它也可能扰乱你的测量。如果实验中存在偏见,可能得出错误结论,导致决策次优。偏见也与公平性相关。在在线零售环境中,你是否公平地为所有供应商推荐了足够多的产品?我认为这是当前最重要的研究课题之一。”

“通常,公平性问题没有单一的、绝对的解决方案。我认为最重要的是提高对偏见的意识。如果你对偏见和不公平有良好的意识,可能已经接近解决方案了,即使它并不完美。”

算法

在算法方面,“深度学习似乎正在接管先前的领先者和现有算法,”Castells说。“当数据包含丰富的侧面信息以及特定类型的推荐(如涉及序列的推荐)时,会有改进。但在更通用的任务中,比如纯协同过滤,有时发现更简单的算法与深度学习表现相当。”

Castells说,部分原因可能是“在推荐领域,人类行为可预测性和可基准化程度较低,而且惊喜本身具有价值。”在这方面,他指出协同过滤——基于购买档案相似的其他客户的过往购买记录向当前客户提供推荐——具有优势。

“这允许你做出用户不那么可预测的推荐,”Castells解释道。“你不是推荐更多相同的东西。如果只使用产品描述或用户人口统计信息,可能倾向于向用户推荐同样的东西。而如果发现人与人或产品与产品之间的模式,就能走得更远,有时甚至带来惊喜。并且可以在算法中显式地加入额外的推动力,以达到更新颖的选择。”

当然,鉴于深度学习在其他领域的成功,低估它在推荐领域的潜力将是错误的。

“在会议论文集中很难看到关于哪种算法最佳的结论性答案,因为RecSys上发表的大部分内容基于公开数据,该领域在实验标准、可复现性和基准测试方面仍需改进,”Castells解释说。“众所周知,深度学习通常需要海量数据才能达到最佳状态。在会议中,最常见的实验数据非常有限,也许那不是深度学习表现最佳的实验类型。”

“所以我的印象是,哪种算法方法最好的问题仍未解决。我还没看到大家一致认为‘是的,忘记线性矩阵分解,忘记k近邻,你需要做深度学习’。这可能取决于应用、数据,甚至实验配置。也许明年会达成这一共识,但我目前还没看到。”

研究领域

搜索与信息检索

标签

推荐系统 | 负责任的人工智能FINISHED