利用Transformer改进产品检索结果
通过评估查询结果的绝对效用（而不仅仅是相对效用），可以改进学习排序模型。
作者：Paul Missault
2023年8月3日
阅读时长：3分钟
会议
KDD 2023
相关出版物
RankFormer：使用列表级标签的列表式学习排序
在今年的知识发现与数据挖掘国际会议（KDD）上，我们介绍了一种新的学习排序方法，该方法纳入了绝对反馈。它还使用了在自然语言处理中非常流行的Transformer模型，通过关注同一列表中商品之间的差异来预测它们被点击的相对可能性。
在实验中，我们将我们的方法与标准的神经网络模型以及使用梯度提升决策树的模型进行了比较。在三个公共数据集上，梯度提升决策树确实表现最佳，尽管我们的模型优于基线神经网络模型。然而，在一组大型内部某机构的搜索数据上，我们的方法全面超越了基线模型。我们推测这是因为公共数据集仅包含简单的特征，而神经排序器只有在数据集庞大且包含大量具有复杂分布的特征时才能成为最先进的模型。
绝对反馈
虽然公共数据集中的商品根据它们与各种搜索查询的匹配程度进行评分，但我们主要关注从隐式反馈中学习，因为这比从标注数据中学习的扩展性好得多。
因此，我们为数据集中的每个商品分配一个值：0表示未被点击，1表示被点击，2表示被购买。我们将一个商品列表的绝对值定义为其单个最高价值成员的值，假设产品查询的目的是确定一个要购买的商品。因此，一个包含一个导致购买的商品的列表，其价值高于一个所有商品都被点击但未购买的列表。
作为输入，我们的Transformer模型接收一个商品列表中每个商品的信息，同时也接收一个类标记。对于每个输入，模型生成一个向量表示：商品的表示捕获了有助于评估它们与查询匹配程度的信息，而类标记的表示则捕获了关于整个列表的信息。这些表示传递到一组评分头，根据它们与当前查询的相关性进行评分。然而，在训练过程中，类标记的评分和商品的评分是根据不同的损失函数进行优化的。
除了商品特征（XI），模型输入还包括一个分类标记x[CLS]。Transformer输出（ZI和z[CLS]）传递到评分头（hs和hd）。在训练期间，商品评分（s(XI)）和类标记评分（d(XI)）根据不同的损失函数（Ly和Lt）进行优化。
Transformer的关键设计特性是其注意力机制，它根据上下文学习如何对不同输入特征进行加权。在我们的场景中，注意力机制根据给定的产品查询，确定哪些产品特征尤为重要。
例如，Transformer能够学习到：一个10美元的商品出现在一个20美元商品的列表中，与出现在一个5美元商品的列表中，其上下文意义应该是不同的。与类标记的评分一样，这种上下文化是基于整体的绝对反馈进行训练的，这使得我们的模型能够从未产生点击或购买的列表中学习。
这有帮助吗？
尽管我们在自有数据上的结果更令人印象深刻，但我们也在公开数据集上评估了我们的方案，以便研究社区能够验证我们的结果。在搜索业务的内部数据中，由于可用的特征集更丰富，我们的模型实现了比其他任何方法（包括强大的梯度提升决策树模型）都更好的性能。
基于这些结果，我们有信心继续从客户反馈中学习。用户的视角是排序问题的核心，而点击和购买数据似乎是一个值得进一步研究的信号。
研究领域
搜索与信息检索
标签
学习排序 | KDD
会议
KDD 2023
相关出版物
RankFormer：使用列表级标签的列表式学习排序
关于作者
Paul Missault 是某机构的高级应用科学家。FINISHED
