阅读 2949

Candidate sampling:NCE loss和negative sample

在工作中用到了类似于negative sample的方法,才发现我其实并不了解candidate sampling。于是看了一些相关资料,在此简单总结一些相关内容。

主要内容来自tensorflow的candidate_sampling和卡耐基梅隆大学一个学生写的一份notesNotes on Noise Contrastive Estimation and Negative Sampling,还有一部分参考了tensorflow的nce_loss和sampled_softmax_loss的文档。

What is Candidate Sampling

首先,什么是candidate sampling呢?假设我们有这样一个问题,给定一个样本集,其中每个样本由(x_i, T_i),其中x_i是输入特征,T_i是一个target小集合,满足T \subset L, |T| << |L|。我们的目标是学习一个F(x, y),使得给定一个x,我们可以预测出类别y为正的可能性。

如果我们使用正常的softmax方法,那么在计算每一个sample时,我们都需要遍历整个集合|L|,对每一个可能的y计算一次F(x, y),这是非常昂贵的操作。尤其是在NLP的相关预测中,这一操作代价更加高昂。所以candidate sampling的方法被提了出来:在计算每一个sample时,我们从整个标签集合或者负标签集合中随机采样出一个小的candidate集合S,将ST一起组成当前的candidate集合C = S \cup T,并在C上计算F(x, y)

常见的candidate sampling方法的特性可以见下表:

在这个表中,K(x)是一个不依赖于候选类的任意函数。 由于Softmax涉及归一化,因此添加这样的函数不会影响计算的概率。Q(y|x)S_i中类y的期望概率或者期望个数。

NCE和nagetive sample可以适应于T_i是multiset的情况,在这种情况下,P(y|x)等于T_i中类y的期望个数。NCE,negative sampling和sampled logistic可以适应于S_i是multiset的情况,在这种情况下,Q(y|x)等于S_i中类y的期望个数。

Noise Contrastive Estimation (NCE)

我们考虑一种简单的也是最常用的情况,|T| = 1。以经典的word预测为例,此时T= {t_i}。我们给定经验分布\widetilde{P}(x)\widetilde{P}(t|x),则每一个训练集中的正样本都相当于从\widetilde{P}(x)采样出一个x_i,并在这个x的基础上在\widetilde{P}(t|x)上采样出t_i,并标定label d = 1。同时我们从分布Q(x)中采样出k个noise samples,则

P(d, t|x)=
\begin{cases}
\frac{k}{1 + k}Q(x) & \text{d=0}\\
\frac{1}{1 + k}\widetilde{P}(t|x)& \text{d=1}
\end{cases}

那么使用条件概率公式,我们就可以写出:

P(d = 0| t, x) = \frac{k * Q(x)}{\widetilde{P}(t|x) + k * Q(x)}

P(d = 1| t, x) = \frac{\widetilde{P}(t|x)}{\widetilde{P}(t|x) + k * Q(x)}

在神经网络算法中,我们使用P_\theta(t,x)来代替\widetilde{P}(t|x),并试图用梯度下降法来训练\theta

Negative Sampling

Negative Sampling是NCE的一种近似,比较值得注意的是,negative sampling对于分布Q有强依赖,NCE则没有这个问题。

tensorflow实现

NCE loss在tensorflow中的文档可以参考tf.nn.nce_loss。要注意的是,使用这种方法时,标签必须按照frequency的降序排序,因为默认的采样方法是tf.nn.log_uniform_candidate_sampler。当然我们也可以实现自己的采样方法。

Negative sampling则用sampled_softmax_loss来实现,注意sampled_softmax_loss只能处理一个正label的情况。