【论文学习】Learning to Rank

原文链接

简介

本文研究的是关于排名的学习，即构建一个模型或函数来排名对象，学习排名对于文档检索、协同过滤和许多其他应用程序都非常有用。

许多应用程序的中心问题是排名，包括文档检索、协同过滤、专家查找、反网络垃圾邮件、情感分析和产品评估等。由于其重要性，排名学习近年来在机器学习领域引起了广泛的关注。基于一种称为对感知的方法（pairwise approach） 已经开发了几种方法，并成功地应用于文档检索，该方法以文档对作为学习的实例，将学习问题形式化为分类问题，在学习过程中，它从排名列表中收集文档对，并为每个文档对分配一个标签，表示两个文档的相对相关性，然后用标记好的数据训练分类模型，并利用分类模型进行排序，分类模型可以使用SVM、Boosting和神经网络等。

排名学习

排名学习是机器学习中一个新的热门话题，其中一种主要的学习排名的方法称为成对方法（pairwise approach），在成对方法中，学习任务被形式化为：将对象对分为两类(正确排名和错误排名)。

Listwise 方法

本节以文献检索为例，对排名学习进行了概述。特别地，详细地描述了按列表排列（Listwise）方法。

在训练中，给定一组查询$Q=\{q^{(1)},...,q^{(m)}\}$，每个查询$q^{(i)}$和一份文件清单$d^{(i)}=\{d^{(i)}_1,...,d^{(i)}_{n^{(i)}}\}$相关联，$d^{(i)}_j$表示第$j$个文件，$n^{(i)}$表示文件清单的规模。进一步，每份文件清单$d^{(i)}$又和一份评价清单（分数）$y^{(i)}=\{y^{(i)}_1,...,y^{(i)}_{n^{(i)}}\}$相关联。显然，$y^{(i)}_j$表示查询$q^{(i)}$和文件$d^{(i)}_j$的关联程度，它可以是人类明确或含蓄给出的分数，例如：$y^{(i)}_j$可以是在搜索引擎中检索并返回$q^{(i)}$时对$d^{(i)}_j$的点击次数，次数越高说明二者的关联程度越高。

对于每个查询-文件对$(q^{(i)},d^{(i)}_j)$创建一个特征向量$x^{(i)}_j=\Psi(q^{(i)},d^{(i)}_j),i=1,2,...,m;j=1,2,...,n^{(i)}$。每个特征列表$x^{(i)}=(x^{(i)}_1,...,x^{(i)}_{n^{(i)}})$和分数列表$y^{(i)}=(y^{(i)}_1,...,y^{(i)}_{n^{(i)}})$组合成一个实例（instance）。训练集的定义为$\Tau=\{(x^{(i)},y^{(i)})\}^m_{i=1}$。

创建一个排名函数$f$，对于每个特征向量$x^{(i)}_j$输出一个分数$f(x^{(i)}_j)$。显然，对于一个特征向量列表$x^{(i)}$可以得到一个分数列表$z^{(i)}=(f(x^{(i)}_1),...,f(x^{(i)}_{n^{(i)}}))$。学习的目标为最小化 Listwise 损失函数$L$：

通过学习得到的模型，在测试中给文件$d^{(i')}$打分，然后根据分数降序排名文件。

上面描述的学习问题被称为排名学习的列表方法（listwise approach to learn-

ing to rank）

Pairwise 方法

在Pairwise 方法中，从训练集$\Tau$中创建新训练集$\Tau'$，其中每个特征向量对$x^{(i)}_j,x^{(i)}_k,j\neq k$ 组成一个新的实例，若$y^{(i)}_j>y^{(i)}_k$则给特征向量对赋值$+1$，否则赋值$-1$，这表明$\Tau'$为一个二分类数据集，像SVM这类分类器可以很容易处理该问题。

概率模型

使用两种概率模型来计算公式（1）中的损失函数。

Permutation Probability 排列概率

假设现在有一组需要排名的对象由数字$\{1,2,...,n\}$定义，这些对象中的一个排名$\pi$被定义为从$\{1,2,...,n\}$到其自身双射，写作$\pi=<\pi(1),...,\pi(n)>$，$\pi(j)$定义为一个在排名中的位置$j$的对象。$n$个对象所有可能的排名集合定义为$\Omega_n$。

假设有一个排名函数，它为$n$个对象分配分数，分数集合的定义为$s=(s_1,...,s_n)$，$s_j$为第$j$个对象的分数。

假设使用排名函数对排名列表(permutation)进行预测时存在不确定性，换句话说，假设：任何排名都是可能的，排名函数对不同的排名可能计算出不同的似然值

定义1：假设$\pi$是$n$个对象的一个排名结果，$\phi()$为一个严格递增的正函数。给定分数列表$s$，排名$\pi$的概率可以定义为：

例子：对于对象$\{1,2,3\}$及其打分$s=(s_1,s_2,s_3)$，序列$\pi=<1,2,3>,\pi'=<3,2,1>$的概率为：

定理2： 排名概率$P_s(\pi),\pi\in\Omega_n$在排名集合上组成了一个概率分布。举例说明，对于每个$\pi\in\Omega_n$，都有$P_s(\pi)>0\ and \ \sum_{\pi\in\Omega_n}P_s(\pi)=1$。

定理3：给定两个排名$\pi,\pi'$，若：

• $\pi(p)=\pi'(q),\pi'(p)=\pi(q),p<q$
• $\pi(r)=\pi'(r),r\neq p,q$
• $s_{\pi(p)}>s_{\pi(q)}$ 则：$P_s(\pi)>P_s(\pi')$。这个定理说明，对于一个排名，若得分较高的对象排在得分较低对象的前面，若交换两个对象的位置，得到的排名概率会低于原来的排名。

定理4：对于$n$个对象，若$s_1>s_2>...>s_n$则$P_s(<1,2,..,n>)$为最高的排名概率，$P_s(<n,n-1,...,1>)$为最低的排名概率。（显然很容易证明）

定理5：

1. 对于线性函数$\phi(x)=\alpha x,\alpha>0$，其排名概率是尺度不变的，即：

2. 对于指数函数$\phi(x)=exp(x)$，其排名概率是平移不变的，即：

给定两个得分列表，我们可以先计算对应的两个排名概率分布，然后取这两个分布之间的度量作为 Listwise 损失函数，然而这种计算方法的时间复杂度为$O(n!)$，不实用，因此提出了top-k概率。

top-k概率

top-k概率的计算非常简单易懂，取对象的前$k$个概率$(j_1,j_2,...,j_k)$来表示它们被排名在前$k$位置的概率。

定义6：top-k子组合$g_k(j_1,j_2,...,j_k)$包含了前$k$个对象的所有可能排名：

$g_k$为所有top-k子组合的集合：

显然，集合$g_k$包含了$\frac{n!}{(n-k)!}$个成员。

定义7：对象的top-k概率$(j_1,j_2,...,j_k)$为子组合$g_k(j_1,j_2,...,j_k)$的概率，即：

定义8：对于top-k概率$P_s(g_k(j_1,j_2,...,j_k))$，存在：

推理9：top-k概率构成了集合$g_k$的概率分布。

定理10：给定对象$j_u,j_v$，若$s_{ju}>s_{jv},u\neq v,u,v=1,2,...,n$，则：$P_s(g_k(j_1,...,j_u,...,j_v,...,j_k))>P_s(g_k(j_1,...,j_v,...,j_u,...,j_k))$。和上述一样，这个公式证明了top-k概率的平移不变性和尺度不变性。

给定两个得分列表，可以定义对应的top-k概率分布之间的度量作为 Listwise 损失函数。例如，使用交叉熵为度量，公式（1）中的损失函数可以定义为：