2021年十大热门研究论文盘点

6 阅读7分钟

采用轻量级形式化方法验证某机构S3键值存储节点的正确性

本文报告了应用轻量级形式化方法验证ShardStore(某机构S3云对象存储服务的新键值存储节点实现)正确性的经验。

所谓“轻量级形式化方法”,是指在正在由全职工程团队持续进行功能开发的、生产环境中的存储节点上,采用一种务实的方法来验证其正确性。目标并非实现完全的形式化验证,而是强调自动化、易用性,以及在软件及其规范不断演变的过程中持续确保正确性的能力。

该论文在ACM操作系统原理研讨会上荣获最佳论文奖。

电子商务中的Bandit算法路线图

丰富的Bandit算法文献不仅提供了多样化的算法工具箱,也使得从业者难以找到解决当前问题的合适方案。典型的Bandit算法教科书侧重于设计和分析算法,而应用综述则常常呈现一系列孤立的应用程序。虽然这些都是宝贵的资源,但在将应用映射到合适的Bandit算法方面存在空白。本文旨在通过提供一个结构化的Bandit算法路线图来缩小这一差距,帮助从业者找到相关且实用的Bandit算法。

具有潜在共同原因的时间序列中因果特征选择的充要条件

研究了在存在潜在变量的情况下识别时间序列中的直接和间接原因,并提供了一种基于约束的因果特征选择方法。理论证明该方法在某些图约束下是可靠且完备的。

算法只需要对每个观测到的候选时间序列进行两次条件独立性检验,即可确定它是否是观测目标时间序列的原因。此外,对 conditioning set 的选择能够提高信噪比。将该方法应用于真实数据和大范围的模拟实验,取得了非常低的假阳性率和相对较低的假阴性率。

SiamMOT:基于孪生网络的多目标跟踪

专注于改进在线多目标跟踪(MOT)。介绍了一种基于区域的孪生多目标跟踪网络SiamMOT。SiamMOT包含一个运动模型,该模型估计实例在两帧之间的移动,从而关联检测到的实例。为了探究运动建模如何影响其跟踪能力,提出了两种孪生跟踪器变体:一种隐式建模运动,另一种显式建模运动。在三个不同的MOT数据集(MOT17、TAO-person和Caltech Roadside Pedestrians)上进行了广泛的定量实验,结果显示了运动建模对MOT的重要性,以及SiamMOT显著超越现有技术水平的能力。

将包裹送到正确的地点:用于地理定位的监督机器学习

某机构“最后一英里”部门致力于通过利用过往配送中带有噪声的GPS位置数据,为每个地址学习一个准确的投递点。由于噪声始终存在偏差,因此质心和其他中心查找方法效果不佳。

这个问题需要监督式机器学习来解决。通过一种新颖的方式,将信息检索领域的“学习排序”方法适配于此问题,利用过往GPS数据预测投递位置的坐标。这也实现了来自地图图层的信息融合。离线实验显示出错误距离的显著减少,在线实验则估计每年可节省数百万美元的成本。

电子商务搜索中的季节性相关性

季节性对于电子商务搜索的相关性是一个重要维度。例如,查询“夹克”在冬季和夏季具有不同的相关文档集。为了获得最佳用户体验,电子商务搜索引擎应将季节性纳入产品搜索中。正式引入了季节性相关性的概念,对其进行了定义,并使用某大型电子商务商店的数据进行了量化。分析发现,39%的查询与搜索时间高度季节相关,如果在排序中处理季节性将受益。提出了LogSR和VelSR特征,使用基于自注意力的最新神经模型来捕捉产品的季节性。对大型数据集的全面离线和在线实验显示了建模季节性相关性的方法的有效性。对7.84亿次查询的在线A/B测试表明,采用季节性相关性特征的处理组购买量提高了2.20%,整体客户体验也更好。

立场论文:使用多模态深度学习减少包装浪费

自2015年以来,某机构已将出库包装重量减少了36%,在全球范围内消除了超过100万吨的包装材料,相当于减少了超过20亿个运输箱,从而减少了整个配送供应链的碳足迹。在这篇立场论文中,分享了使用深度学习为庞大且多样化的产品目录中的每个商品识别最适合的包装类型的见解,以确保商品完好无损地送达、让客户满意并减少包装浪费。结合产品的多模态数据(包括产品图像)和处理类别不平衡的技术,对于提高模型性能至关重要。

CTR-BERT:面向十亿参数教师模型的成本高效知识蒸馏

虽然像BERT这样预训练的大型语言模型(LLM)已在多个NLP任务中取得最先进成果,但它们在具有额外基础(例如数值和类别特征)的任务上的表现研究较少。研究了预训练LLM在电子商务产品广告点击率(CTR)预测中的应用。这颇具挑战性,因为模型需要:a)从语言以及表格数据特征中学习;b)在推理时保持低延迟(<5毫秒);c)适应不断变化的广告分布。首先展示了将预训练语言模型扩展到15亿参数,其性能显著优于传统的CTR基线。然后提出了CTR-BERT,一种用于CTR预测的新型轻量级、缓存友好的分解模型,该模型由用于文本的双塔结构BERT编码器组成,并带有用于文本和表格特征的后期融合机制。

概率预测:一种水平集方法

近年来,大规模时间序列表在零售、运营指标、物联网和医疗等领域变得无处不在。这导致需要能够通过跨每个面板的所有时间序列进行学习,从而有效利用所有可用数据的预测技术。在预测技术的诸多理想特性中,能够生成概率预测位居前列。因此,提出水平集预测器(LSF),这是一种简单而有效的通用方法,可将点估计器转换为概率估计器。通过认识到算法与随机森林(RF)和分位数回归森林(QRF)的联系,能够在底层点估计器的温和假设下证明该方法的一致性保证。作为副产品,首次证明了在CART分裂准则下QRF的一致性。实验表明,该方法以基于树的模型作为点估计器,在预测精度上与最先进的深度学习模型相媲美。

对话系统中用于减少交互摩擦的上下文改写检测

对于Alexa等语音助手来说,正确理解用户的意图至关重要。然而,用户有时会遇到交互摩擦,这可能是由不同系统组件的错误或用户错误(如口误)造成的。用户往往会重新表述他们的查询,直到获得满意的响应。改写检测用于识别这些改写的语句,长期以来被视为一项成对输入的任务,并未充分利用上下文信息(例如用户的隐式反馈)。为此,提出了一种上下文感知的改写检测模型ContReph,用于从多轮对话中自动识别改写语句。展示了如何利用对话上下文和用户与智能体交互的信号,包括用户的隐式反馈以及不同轮次之间的时间间隔,这些因素有助于显著优于成对的改写检测模型。FINISHED