两篇来自某中心的论文荣获AAAI最佳论文亚军
在今年的AAAI（人工智能促进协会）会议上，有两篇有某中心研究人员参与合著的论文获得了最佳论文亚军。
其中一篇是提交给主会的论文：《从极端老虎机反馈中学习》，作者包括加州大学伯克利分校的博士生Romain Lopez（完成该工作时正在某中心实习）、某中心副总裁兼杰出科学家Inderjit Dhillon，以及某中心杰出学者、伯克利分校教授Michael I. Jordan。
在论文中，Lopez、Dhillon和Jordan研究了一个问题：当可能的动作空间非常庞大，且训练数据反映了先前动作选择策略的偏差时，如何训练一个机器学习系统来执行某个动作（例如对产品查询结果进行排序）。
另一篇论文提交给了AAAI健康智能研讨会：《某中心云服务CORD-19搜索：针对COVID-19文献的神经搜索引擎》，共有15位合著者，均来自某中心，通讯作者为高级应用科学家Parminder Bhatia和研究科学家Lan Liu，资深作者为Taha Kass-Hout。
该论文探讨了使某中心云服务CORD-19搜索成为可能的机器学习工具阵列。ACS是一个搜索界面，支持对艾伦研究所汇编的COVID相关研究论文数据库CORD-19进行自然语言搜索。
极端老虎机反馈问题
在他们的论文中，Lopez、Dhillon和Jordan在极端多标签分类的背景下，探讨了从老虎机反馈中进行批量学习的问题。
老虎机问题通常在强化学习中出现，机器学习系统试图通过试错来学习一个能最大化某种奖励的策略。以推荐系统为例，策略是如何为特定客户选择要展示的链接；奖励则是用户对这些链接的点击。
典型的在线老虎机设定中，系统可以根据实时反馈不断调整策略。而在离线设定中，系统的训练数据全部来自交易日志：哪些客户看到了哪些链接，他们是否点击了这些链接？
问题在于，客户看到的链接是由一个先前的策略（通常称为记录策略）选择的。从老虎机反馈中进行批量学习的目标，是发现一个优于记录策略的新策略。但是，考虑到我们只有旧策略的反馈结果，这如何可能实现？
当系统可以采取的动作数量非常庞大时，这个问题会更加严重。在这种情况下，客户不仅看到的是由次优策略选择的链接，而且只看到了他们可能看到的链接中极其微小的一部分。
在论文中，研究人员着手应对在这种背景下学习最优策略的挑战。首先，他们提出了理论分析，描述了一种收敛于最优解决方案的策略选择通用方法。接着，他们提出了一种实现该方法的具体算法。最后，他们将该算法的性能与四种主流的前沿方法在六种不同指标上进行了比较，发现他们的方法在所有指标上都取得了最佳结果。
理论证明依赖于所谓的Rao-Blackwell化。给定任何类型的估计器（一种基于观测数据估计某个量的程序），Rao-Blackwell定理提供了一种更新估计器的统计方法，可以提高（至少不会降低）其准确性。研究人员的证明提供了一种计算Rao-Blackwell化在极端老虎机反馈背景下所能带来的准确度增益的方法，具体取决于交易日志数据的统计特性。
在实践中，研究人员直接将记录策略作为初始估计器，并按照Rao-Blackwell方法进行更新。与之前表现最好的方法相比，这在六个指标上带来了显著的准确度提升——提升幅度在31%到37%之间。
CORD-19搜索系统
通过ACS，用户可以使用自然语言查询CORD-19数据库，例如“瑞德西韦是COVID-19的有效治疗方法吗？”或“患者的平均住院时间是多少？”
某中心科学博客曾更详细地讨论过论文中描述的一些要素：Miguel Romero Calvo解释了CORD-19知识图谱的结构及其构建方法；某中心科学撰稿人Doug Gantenbein描述了ACS如何利用来自某中心云服务的机器学习工具，例如某中心Kendra（一种语义搜索和问答服务）和Comprehend Medical（一个专门用于从医学文本等非结构化文本中提取信息的工具）。
除了探讨这些主题，研究人员的论文还涵盖了ACS的主题建模方法（即根据从文本中提取的主题描述符自动对文档进行分组）和多标签分类方法（即训练机器学习模型，基于主题建模系统提取的描述符为文档分配新的主题标签）。
最后，研究人员将ACS与另外两个CORD-19搜索界面进行了比较，结果显示，对于自然语言查询，ACS以显著优势提供了最佳结果，同时在更传统的关键词搜索方面也保持竞争力。
研究领域
- 机器学习
标签
- 老虎机问题
- 推荐系统
- 冠状病毒（COVID-19）
- 奖项与认可
- 主题建模
相关会议
- AAAI 2021
- AAAI健康智能研讨会（W3PHIAI-21）
相关出版物
- 《从极端老虎机反馈中学习》
- 《某中心云服务CORD-19搜索：针对COVID-19文献的神经搜索引擎》
关于作者： Larry Hardesty是某中心科学博客的编辑。此前，他曾是《麻省理工科技评论》的高级编辑和麻省理工学院新闻办公室的计算机科学专栏作家。
