A Neural Probabilistic Language Model -

传统的统计语言模型有一些缺点：

1.由于维度灾难(特别是离散变量)，在高维下，数据的稀缺性导致统计语言模型存在很多为0的条件概率，传统的统计语言模型也花费大量的精力来处理这个，包括平滑，插值，回退等方法

2.语言模型的参数个数随着阶数呈指数增长，所以一般这个模型的阶数不会很高，这样n-gram无法建立长远的关系

3.n-gram无法建模出多个相似词的关系，比如在训练集中有： the cat is walking in the bedroom，但是用n-gram预测时，遇到：the dog was running in a room这个句子，并不会因为两个句子相似就让该句子的概率变高

这篇NNLM使训练得到的模型比传统的统计语言模型使用n-gram能建模更远的关系，并且考虑到了词与词之间的相似性，一些相似的词获得了自然的平滑。前者是因为神经网络的结果使得，后者是因为使用了词向量。

词向量

下面先介绍词向量(distributed representation for words),本文中单词的特征向量是吧单词映射为具有一定维度的实数向量(比如50，100维，这里记为m)，每个词都和一个特征向量相关联，词向量初始化可以为随机的数，文中介绍也可以使用一些先验知识来初始化它。随着训练结束，词向量便获得了。词向量的引入使得n-gram的离散空间变成了连续空间，并且两个相似的词之间他们的词向量也相似，所以当训练完毕后，一个句子和其他相似的句子都获得了概率。而把词映射到词向量是作为整个网络的第一层，后面会看到。

Bengio 用了一个三层的神经网络来构建语言模型，同样也是n-gram模型，如下图：

图中最下方的Wt-1 ---Wt-n+1就是前n-1个词。现在需要根据这已知的n-1个词来预测下一个词Wt。

为了直观理解这个模型，举个例子：假如现在我们要根据文档中出现的前3个词，来预测下一个词，则初始化部分：

前向传播部分：

反向部分：

注：实际使用中隐层和softmax的输入还要加上一个bias

下面用稍微数学化的语言进行描述：

设y为未经过softmax归一后的输出，则：

可以看到，这个网络中的参数为： b, W, U, d , H

我们设h是隐层节点个数，m为词向量的维度，|V|为词汇表大小，d为输入-隐层的bias，b为隐层-输出的bias

W(|V|*(n-1)m)是一个输入层到输出层的直连，如果不需要这一连接可以将权重矩阵W设为0。

W包含了从输入到输出的直连边，即从输入到输出的一个线性变换，在最后实验中，Bengio发现直连边虽然不能提升模型效果，但是可以减少一半的迭代次数，同时他也猜想没有直连边可能可以生成更好的词向量

X（(n-1)m维向量）：将各个词向量串联起来作为输出层的输入

即：

b (|V|维)：隐层-输出层的bias

d (h维):输入-隐层的bias

U (|V|*h matrix):隐层-输出层的权重矩阵

H (h*(n-1)m matrix)：输入-隐层的权重矩阵

C (|V|*m):词向量

因此该模型的参数共有: |V|(1+nm+h) +h(1+(n-1)m)个

通过SGD进行参数更新：

注：一般神经网络的输入层只是一个输入值，而在这里，输入层x也是参数(存在C中)，也是需要优化的，优化结束后，词向量有了，语言模型也有了。

计算过程：