Word2vec是2013年发布的用于自然语言处理（Natural Language Processing，NLP）的一项技术。Word2vec算法使用一个神经网络模型来从一个大的语料库中学习词的关系。

这篇文章主要内容是我对论文《word2vec Parameter Learning Explained》的学习和理解，通过学习，大致了解Word2vec是如何对单词进行机器学习的。

前置知识

数学知识

• 向量

  两个向量之间的夹角越小，向量的相似度越高。

  向量 $\mathbf{a}$ 和 $\mathbf b$ 的夹角使用如下公式计算:

  $cos \theta ={\large \frac{\mathbf a \cdot \mathbf b} {||\mathbf a||~||\mathbf b|| }}$

• 导数

  导数是微积分学中的一个概念。函数在某一点的导数是指这个函数在这一点附近的变化率。导数的本质是通过极限的概念对函数进行局部的线性逼近。

• 内积

  又称点积、标量积或数量积。

  向量 $\mathbf a$ 和 $\mathbf b$的点积定义为：

  $\mathbf a \cdot \mathbf b = \sum^{n}_{i=1}a_ib_i=a_1b_1 + a_2b_2 + ... + a_nb_n$

• 外积

  又称为 张量积。

  给定$m \times 1$ 列向量$\mathbf u$ 和 $1 \times n$ 行向量$\mathbf v$，它们的外积被定义为$m \times n$ 的矩阵$\mathbf A$。

  $\mathbf u \otimes \mathbf v = \mathbf A =\mathbf{uv}$

  $\left[ \begin{matrix} b_1\\ b_2\\ b_3\\ b_4\\ \end{matrix} \right] \otimes \left[ \begin{matrix} a_1&a_2&a_3\\ \end{matrix} \right]=\left[ \begin{matrix} a_1b_1&a_2b_1&a_3b_1\\ a_1b_2&a_2b_2&a_3b_2\\ a_1b_3&a_2b_3&a_3b_3\\ a_1b_4&a_2b_4&a_3b_4\\ \end{matrix} \right]$

• 转置

  在线性代数中，矩阵 $\mathbf A$ 的转置是另一个矩阵 $\mathbf A^T$ 由下列等价动作建立：

  • 把 $\mathbf A$的行写为 $\mathbf A^T$的列
  • 把 $\mathbf A$的列写为 $\mathbf A^T$的行

  例子：

  ${\left[ \begin{matrix} 1&2\\ 3&4\\ 5&6\\ \end{matrix} \right]}^T = \left[ \begin{matrix} 1&3&5\\ 2&4&6\\ \end{matrix} \right]$

• 矩阵乘法

自然语言处理

• 独热向量

  在一任意维度的向量中，仅有一个维度的值是1，其余为0。

  在自然语言处理中，词汇表中的每个词用一个独热向量表示。

  比如，"大人的世界真的没有想象中简单呢"

  经过分词和排序之后得到了如下的词汇表：

  ['世界', '中', '呢', '大人', '想象', '没有', '的', '真的', '简单']
  

  这个句子就能得到下面这个矩阵，为了看起来直观，矩阵旁边加上了对应的字符串和该字符串在句子中对应的索引：

  $\left[ \begin{array}{c|cccccccc} ~&世界&中&呢&大人&想象&没有&的&真的&简单\\ 0&0&0&0&1&0&0&0&0&0\\ 1&0&0&0&0&0&0&1&0&0\\ 2&1&0&0&0&0&0&0&0&0\\ 3&0&0&0&0&0&0&0&1&0\\ 4&0&0&0&0&0&1&0&0&0\\ 5&0&0&0&0&1&0&0&0&0\\ 6&0&1&0&0&0&0&0&0&0\\ 7&0&0&0&0&0&0&0&0&1\\ 8&0&0&1&0&0&0&0&0&0\\ \end{array} \right]$

  分词需要专门的分词器进行处理，上述的分词只是我随便分的，用于示意，使用中文分词工具（比如jieba）分出来不一定是那样的。

• 词向量

  能够表示词的含义的一定维度的向量。

• 词嵌入

  词嵌入是把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空见中，每个单词或词组被映射为实数域上的问题。

  嵌入：数学上，嵌入是指一个数学结构经过映射包含到另一个结构中。某个物件 $X$ 称为嵌入到另一个物件 $Y$ 中，是指有一个保持结构的单射$f: X \rightarrow Y$，这个映射 $f$ 就给出了一个嵌入。

神经网络

• 神经元

  生物中的神经细胞（又名神经元）。当电信号通过神经元的树突，进入细胞核的时候，会逐渐积聚电荷。达到一定电位之后，细胞就会被激活，然后通过轴突，发出电信号。

  本文中的神经元不是生物上的神经元，而是人工神经元：

• $a1\sim an$为输入向量的各个分量。

• $w1\sim wn$为神经元各个突触的权重值。

• $b$为偏置（在这篇文章中没有考虑偏置）。

• $f$为传递函数(也称为激活函数)，通常为非线性函数。

• $t$为神经元输出。

  $t = f(\mathbf W^T\mathbf A + b)$

  $=f(a_1 \times w_1 + a_2 \times w_2 + ... + a_n \times w_n + b)$

• 神经网络

  人工神经网络 (Artificial Neural Network，ANN) 由节点层组成，包含一个输入层、一个或多个隐藏层和一个输出层。 每个节点也称为一个人工神经元。

• 全连接网络

  全连接网络，在全连接网络中，每个输入元素都与下一层的各个神经元相连，每个连接都有相应的权重。

• softmax

  softmax函数，或者称为 归一化指数函数。它能将一个含任意实数的$K$维向量 $\mathbf{z}$ "压缩"到另一个$K$ 维实向量$\sigma(\mathbf z)$ 中，使得每一个元素的范围都在$(0,1)$ 之间，并且所有元素的和为1。

  $\sigma(\mathbf z)_j ={\Large \frac{e^{z_j}}{\sum^K_{k=1} e^{z_k}}}~~~~ for ~j = 1,...,K$

• 反向传播

  反向传播（Backpropagation，缩写为BP），是"误差反向传播"的简称，是一种与最优化方法结合使用，用来训练人工神经网络的常见方法。该方法对网络中所有权重计算损失函数的梯度。这个梯度会回馈给最佳方法，用来更新权重值以最小化损失函数。

Word2Vec

训练Word2Vec嵌入有两种方法：

• 连续词袋（continuous bag-of-words，CBOW）方法，基于上下文邻近词（输入词）预测目标词（输出词）。
• skip-gram方法，基于目标词（输入词）预测上下文单词（输出词）。

CBOW模型

连续词袋（continuous bag-of-words，CBOW）方法，基于邻近词（输入词）预测目标词（输出词）。

一个上下文单词

假设每个上下文只考虑一个单词，也就是说我们给出一个上下文单词，预测一个目标词。

一、从输入层到输出层的计算过程

$V$是词的数量，$N$是隐藏层神经元的数量。

输入是一个独热向量 $\mathbf{x}=\{x_1, x_2, ..., x_V\}$。

输入层和隐藏层之间的权重是一个$V \times N$ 的矩阵$\mathbf{W}$：

$\mathbf{W} = {\left[\begin{matrix} w_{11}&w_{12}&\ldots&w_{1N}\\ w_{21}&w_{22}&\ldots&w_{2N}\\ w_{31}&w_{32}&\ldots&w_{3N}\\ \vdots&\vdots&\ddots&\vdots\\ w_{k1}&w_{k2}&\ldots&w_{kN}\\ \vdots&\vdots&\ddots&\vdots\\ w_{V1}&w_{V2}&\ldots&w_{VN}\\ \end{matrix}\right]}$

$N$维向量$\mathbf{v_w}$ 是表示输入单词的向量，称为"输入向量"。$\mathbf{W}$的第 $i$ 行是 $\mathbf{v_{w}^T}$。

给出一个上下文单词，假设$x_k = 1$ 并且对于$k^{'} \neq k$，$x_{k^{'}}=0$。

$\mathbf{h}=\mathbf{W^Tx} = \mathbf{W^T_{(k, \cdot)}} :=\mathbf{v_{w_I}^T}~~~~~~ (1)$

（$\mathbf{W^Tx}:=\mathbf{v_{w_I}^T}$的意思是将 $\mathbf{W^Tx}$ 定义为 $\mathbf{v_{w_I}^T}$。）

相当于把$\mathbf{W}$的第$k$行复制到了$\mathbf{h}$中。$\mathbf{v}_{w_I}$ 是输入词 $w_I$的向量表示。

隐藏层到输出层的权重是一个从 $N \times V$ 的矩阵$\mathbf{W}^{'}=\{w^{'}_{ij}\}$：

$\mathbf{W}^{'} = {\left[\begin{matrix} w_{11}&w_{12}&\ldots&w_{1V}\\ w_{21}&w_{22}&\ldots&w_{2V}\\ w_{31}&w_{32}&\ldots&w_{3V}\\ \vdots&\vdots&\ddots&\vdots\\ w_{i1}&w_{i2}&\ldots&w_{iV}\\ \vdots&\vdots&\ddots&\vdots\\ w_{N1}&w_{N2}&\ldots&w_{NV}\\ \end{matrix}\right]}$

这里在单词上右上角加的一撇，只是为了表明是另一个矩阵，没有别的意思。

使用这个权重，我们可以为词汇表中的每个词计算一个得分：

$u_j={\mathbf{v}^{'}_{w_j}}^T\mathbf{h} ~~~~~~ (2)$

$\mathbf{v}^{'}_{w_j}$ 是矩阵 $\mathbf{W}^{'}$ 的第 $j$ 列。

$\mathbf{u}=\{u_1, u_2,u_3, ...u_j, ...u_v\}$，$\mathbf{u}=\mathbf{W}^{'T}\mathbf{h}$。$\mathbf{u}$ 称为输出层神经元的净输入(net input)。

使用softmax将输入结果压缩为0到1之间的值。

$p(w_j|w_I)=y_j={\Large \frac{e^{u_j}}{\sum_{j^{'}=1}^Ve^{u_{j^{'}}}}} ~~~~~~ (3)$

$y_j$是输出层的第$j$个单元。

将$(1)$、$(2)$代入$(3)$中，有:

$p(w_j|w_I)=y_j={\Large \frac{e^{{\mathbf{v}^{'}_{w_j}}^T\mathbf{h}}}{\sum_{j^{'}=1}^Ve^{{\mathbf{v}^{'}_{w_{j^{'}}}}^T\mathbf{h}}}} ~~~~~~ (4)$

$\mathbf{v}_w$ 和 $\mathbf{v}_w^{'}$ 是单词 $w$ 的两种表示形式。$\mathbf{v}_w$来源于 $\mathbf{W}$ （输入 $\rightarrow$ 隐藏 权重矩阵）的所有行，称为单词 $w$ 的"输入向量"； $\mathbf{v}_w^{'}$ 来源于 $\mathbf{W}^{'}$（隐藏 $\rightarrow$ 输出 权重矩阵）的所有列，称为单词 $w$ 的"输出向量"。

例子1

虽然称为例子1，其实本文的例子1、2、3都是同一个例子，只是拆成了不同部分来讲。

上述的理论知识可能稍微有一点点抽象，但是看一个具体的例子就能明白了：

$V$为词汇的数量，一般是一个很大的值，这里为了直观，假设$V$为5，$N$为3，权重值是随便写的一些值。

1. 输入的独热向量为：$\mathbf{x} = \{0, 1, 0, 0, 0 \}$。

2. 输入层和隐藏层之间的权重矩阵为：

   $\mathbf{W} = {\left[\begin{matrix} w_{11}&w_{12}&w_{13}\\ w_{21}&w_{22}&w_{23}\\ w_{31}&w_{32}&w_{33}\\ w_{41}&w_{42}&w_{43}\\ w_{51}&w_{52}&w_{53}\\ \end{matrix}\right]}={\left[\begin{matrix} 0.03&0.23&0.21\\ 0.16&0.02&0.58\\ 0.12&0.56&0.66\\ 0.32&0.19&0.99\\ 0.61&0.32&0.35\\ \end{matrix}\right]}$

3. 通过公式 $({1})$ 计算，得到三维结果词向量的表示。

   $\mathbf{h}=\mathbf{W^Tx}:=\mathbf{v_{w_I}^T} ~~~~~~ (1)$

   $\mathbf{h}=\mathbf{W^Tx}={\left[\begin{matrix} w_{11}&w_{21}&w_{31}&w_{41}&w_{51}\\ w_{12}&w_{22}&w_{32}&w_{42}&w_{52}\\ w_{13}&w_{23}&w_{33}&w_{43}&w_{53}\\ \end{matrix}\right]} \times{\left[\begin{matrix} 0\\ 1\\ 0\\ 0\\ 0\\ \end{matrix}\right]}$

   $={\left[\begin{matrix} 0.03&0.16&0.12&0.32&0.61\\ 0.23&0.02&0.56&0.19&0.32\\ 0.21&0.58&0.66&0.99&0.35\\ \end{matrix}\right]} \times{\left[\begin{matrix} 0\\ 1\\ 0\\ 0\\ 0\\ \end{matrix}\right]}$

   $={\left[\begin{matrix} 0.16\\ 0.02\\ 0.58\\ \end{matrix}\right]}$

4. 隐藏层和输出层之间的权重为：

   $\mathbf{W}^{'} = {\left[\begin{matrix} w_{11}^{'}&w_{12}^{'}&w_{13}^{'}&w_{14}^{'}&w_{15}^{'}\\ w_{21}^{'}&w_{22}^{'}&w_{23}^{'}&w_{24}^{'}&w_{25}^{'}\\ w_{31}^{'}&w_{32}^{'}&w_{33}^{'}&w_{34}^{'}&w_{35}^{'}\\ \end{matrix}\right]}={\left[\begin{matrix} 0.11&0.77&0.16&0.50&0.25\\ 0.35&0.13&0.05&0.36&0.37\\ 0.60&0.29&0.26&0.92&0.89\\ \end{matrix}\right]}$

   可以用公式 $({2})$ 为每一个单词计算一个得分：

   $u_j={\mathbf{v}^{'}_{w_j}}^T\mathbf{h} ~~~~~~ (2)$

   $\mathbf{u}=\mathbf{W}^{'T}\mathbf{h}=\left[ \begin{matrix} w_{11}^{'}&w_{21}^{'}&w_{31}^{'}\\ w_{12}^{'}&w_{22}^{'}&w_{32}^{'}\\ w_{13}^{'}&w_{23}^{'}&w_{33}^{'}\\ w_{14}^{'}&w_{24}^{'}&w_{34}^{'}\\ w_{15}^{'}&w_{25}^{'}&w_{35}^{'}\\ \end{matrix} \right]\times{\left[\begin{matrix} 0.16\\ 0.02\\ 0.58\\ \end{matrix}\right]}$

   $={\left[\begin{matrix} 0.11&0.35&0.60\\ 0.77&0.13&0.29\\ 0.16&0.05&0.26\\ 0.50&0.36&0.92\\ 0.25&0.37&0.89\\ \end{matrix}\right]} \times {\left[\begin{matrix} 0.16\\ 0.02\\ 0.58\\ \end{matrix}\right]}$

   $=\left[ \begin{matrix} 0.3726\\ 0.294\\ 0.1774\\ 0.6208\\ 0.5636\\ \end{matrix} \right]$

   这里可以使用python的numpy包进行计算：

   import numpy as np
   
   w = np.array([
   [0.11, 0.35, 0.60],
   [0.77, 0.13, 0.29],
   [0.16, 0.05, 0.26],
   [0.50, 0.36, 0.92],
   [0.25, 0.37, 0.89]
   ])
   
   h = np.array([
   [0.16],
   [0.02],
   [0.58]
   ])
   
   print(np.dot(w, h))
   
   # 打印出的结果
   [[0.3726]
   [0.294 ]
   [0.1774]
   [0.6208]
   [0.5636]]
   

5. 使用softmax函数（用作神经元的激活函数）将输入结果压缩为0到1之间的值。

   $p(w_j|w_I)=y_j={\Large \frac{e^{u_j}}{\sum_{j^{'}=1}^Ve^{u_{j^{'}}}}} ~~~~~~ (3)$

   $p(w_j|w_I)$ 表示输入为$w_I$的条件下，输出为$w_j$的概率。

   在第4步中，已经计算出了：

   $\mathbf{u}=\left[ \begin{matrix} 0.3726\\ 0.294\\ 0.1774\\ 0.6208\\ 0.5636\\ \end{matrix} \right]$

   通过归一化指数函数，计算出结果向量：

   $\mathbf{y}=\left[ \begin{matrix} 0.191\\ 0.176\\ 0.157\\ 0.245\\ 0.231\\ \end{matrix} \right]$

   这个结果表示输出为 $w_0$ 的概率为0.191，输出为 $w_1$ 的概率是0.176。这些概率加起来的值约为1（约等于是因为保留了3位小数）。

   可以通过numpy计算结果：

   arr = np.array([0.3726, 0.294, 0.1774, 0.6208, 0.5636])
   
   softmax_result = np.exp(arr) / sum(np.exp(arr))
   print(softmax_result.round(3))
   
   # 打印的结果值为[0.191 0.176 0.157 0.245 0.231]
   

二、从隐藏层到输出层的权重更新方程

推导这个模型的权重更新方程。（现在这个推导理论上是可行的，但是由于现实生活中庞大的词汇量和训练语料库，在每次训练中对所有词进行计算是不现实的，需要使用分层的softmax来解决这个问题，还可以使用负采样，只处理一部分样本而不是全部样本）。

训练的目标是最大化$({4})$：

$p(w_j|w_I)=y_j={\Large \frac{e^{{\mathbf{v}^{'}_{w_j}}^T\mathbf{h}}}{\sum_{j^{'}=1}^Ve^{{\mathbf{v}^{'}_{w_{j^{'}}}}^T\mathbf{h}}}} ~~~~~~ (4)$

也就是输入为 $w_I$时，实际输出单词是$w_O$（定义$w_O$在输出层的索引是$j^*$）的概率。

$max~p(w_O|w_I)=max~y_{j^*}~~~~~~ (5)$

$max~log~p(w_O|w_I)=max~log~y_{j^*} ~~~~~~ {6}$

$log~y_{j^*}=u_{j^*} - log\sum^V_{j^{'}=1}e^{u_{j^{'}}}:=-E ~~~~~~ (7)$

将式子$({3})$两边同时取对数就能得到$({7})$。

$p(w_j|w_I)=y_j={\Large \frac{e^{u_j}}{\sum_{j^{'}=1}^Ve^{u_{j^{'}}}}} ~~~~~~ (3)$

$E=-log~p(w_O|w_I)$是损失函数，我们需要最小化这个值。

log没有标明底数时，底数值可能是2、10或者e。计算机相关的文档中底数一般为2，数学计算中底数10比较常见，而在这篇文章中，log的底数是e（自然底数）。

对输出层的第 $j$ 个神经元的净输入$u_j$求 $E$ 的导数:

${\large \frac{\partial E}{\partial {u_j}}}=y_j - t_j := e_j ~~~~~~ (8)$

这个导数就是输出层的预测误差，定义为 $e_j$ 。

$t_j =1 (j=j^{*})$，$t_j$只有在实际输出单词是第 $j$ 个神经元的时候为$1$，否则为$0$。

这里我理解为是因为巧妙地选择了$E=-log~p(w_O|w_I)$ 作为损失函数，在满足$E$ 越小，$p(w_O|w_I)$越大的同时，$E$ 对 ${u_j}$ 的导数刚好等于 $y_j - t_j$，是预测误差。便于后续的计算。

求导过程：

${\large \frac{\partial E}{\partial {u_j}}}={\large \frac{\partial(log\sum^V_{j^{'}=1}e^{u_{j^{'}}}-u_{j}) }{\partial {u_j}}}$

$={\large \frac{\partial E}{\partial {u_j}}}={\large \frac{\partial(log\sum^V_{j^{'}=1}e^{u_{j^{'}}}) }{\partial {u_j}}}-{\large \frac{\partial(u_{j}) }{\partial {u_j}}}$

$={\Large \frac{e^{u_j}}{lne\sum_{j^{'}=1}^Ve^{u_{j^{'}}}}}-{\large \frac{\partial(u_{j}) }{\partial {u_j}}}$

$=y_j-1 (j=j^{*})$

$1$是表示指示函数，当输入为True的时候，输出为1；当输入为False的时候，输出为0。

这里$1$其实是个空心的$1$，但是markdown不能直接支持这种显示。所以直接写成$1$了。

然后对 $w^{'}_{ij}$ 求导数，得到隐藏层到输出层权重的斜率（变化率）：

${\large {\large \frac{\partial E}{\partial {w^{'}_{ij}}}} = {\large \frac{\partial E}{\partial {u_j}}} \cdot {\frac{\partial u_j}{\partial {w^{'}_{ij}}}}}=e_j \cdot h_i ~~~~~~ (9)$

根据公式$({2})$，对$w_{ij}^{'}$求 $u_j$ 的导数，值为 $h_i$ 。$h_i$ 是隐藏层的第 $i$ 个神经元的输出。

$u_j={\mathbf{v}^{'}_{w_j}}^T\mathbf{h} ~~~~~~ (2)$

因此，使用随机梯度下降，可以得到隐藏层到输出层的权重更新方程：

${w^{'}_{ij}}^{(new)}={w^{'}_{ij}}^{(old)}-\eta \cdot e_j \cdot h_i ~~~~~~ (10)$

或者：

${\mathbf{v}^{'}_{w_j}}^{(new)}={\mathbf{v}^{'}_{w_j}}^{(old)}-\eta \cdot e_j \cdot \mathbf{h}~~~~~~ {for}~ j = 1, 2, 3, ...,V ~~~~~~ (11)$

$\eta > 0$ 是学习率，$e_j=y_j-t_j$ ，是预测误差，$h_i$ 是隐藏层的第 $i$ 个神经元。${\mathbf{v}^{'}_{w_j}}$是 $w_j$ 的输出向量。

学习率是一个超参数，是开始学习过程之前设置的参数，从公式 $({11})$ 中就可以看出，学习率越大，每次调整时新向量和旧向量之间的距离就越大，选择一个合适的学习率至关重要，过大了会无法收敛到全局极小值，过小了会花费很多时间，因为每次的调整都比较小。

斜率$e_j \cdot h_i$ 为负的时候，表示曲线 $E$ 是下降的，$w$ 需要变大才能得到更小的$E$。

斜率$e_j \cdot h_i$ 为正的时候，表示曲线 $E$ 是上升的，$w$ 需要变小才能得到更小的$E$。

例子2

还是沿着例子1讲。在从输入层到输出层的计算的例子中，直接随便写了几个权重值进行计算示例，实际上这些权重是需要根据更新函数一遍遍调整，得到一个合适的值的：

${\mathbf{v}^{'}_{w_j}}^{(new)}={\mathbf{v}^{'}_{w_j}}^{(old)}-\eta \cdot e_j \cdot \mathbf{h}~~~~~~ {for}~ j = 1, 2, 3, ...,V ~~~~~~ (11)$

1. 一开始的时候，需要设置 $\mathbf{W}$ 和 $\mathbf{W^{'}}$ 中的权重为随机生成的值。如何初始化权重值很重要，是一个值得单独探讨的问题，这里就不深究了，我直接用例子1中随便写的值作为初始值。

2. 假设通过训练语料库，已经得到了 上下文—目标 词对。这里是一个上下文单词对应一个目标词。假设目前词汇表中的独热向量有以下这些：

   $\left[ \begin{matrix} 没有&逻辑&的&单词&库\\ 1&0&0&0&0\\ 0&1&0&0&0\\ 0&0&1&0&0\\ 0&0&0&1&0\\ 0&0&0&0&1\\ \end{matrix} \right]$

   这里选择其中的一个 上下文—目标 词对为：$\mathbf{a} = \{0,1,0,0,0\}$ （上下文单词）和 $\mathbf b=\{0,0,0,1,0\}$（目标单词）。

3. 学习率设置为 0.02，（这里也不深究学习率，只是随便设置的一个值）。

4. 求$\large {\frac{\partial u_j}{\partial {w^{'}_{ij}}}}$

   对 $w^{'}_{ij}$ 求导数，得到隐藏层到输出层权重的斜率（变化率）：

   ${\large {\large \frac{\partial E}{\partial {w^{'}_{ij}}}} = {\large \frac{\partial E}{\partial {u_j}}} \cdot {\frac{\partial u_j}{\partial {w^{'}_{ij}}}}}=e_j \cdot h_i ~~~~~~ (9)$

   先回顾下例子1中的内容：

   在例子1中，用公式 $({2})$ 为每一个单词计算一个得分：

   $u_j={\mathbf{v}^{'}_{w_j}}^T\mathbf{h} ~~~~~~ (2)$

   $\mathbf{u}=\mathbf{W}^{'T}\mathbf{h}=\left[ \begin{matrix} w_{11}^{'}&w_{21}^{'}&w_{31}^{'}\\ w_{12}^{'}&w_{22}^{'}&w_{32}^{'}\\ w_{13}^{'}&w_{23}^{'}&w_{33}^{'}\\ w_{14}^{'}&w_{24}^{'}&w_{34}^{'}\\ w_{15}^{'}&w_{25}^{'}&w_{35}^{'}\\ \end{matrix} \right]\times{\left[\begin{matrix} h_1\\ h_2\\ h_3\\ \end{matrix}\right]}$

   $\mathbf{u}=\left[ \begin{matrix} {w_{11}^{'} \times h_1 + w_{21}^{'} \times h_2 + w_{31}^{'} \times h_3}\\ {w_{12}^{'} \times h_1 + w_{22}^{'} \times h_2 + w_{32}^{'} \times h_3}\\ {w_{13}^{'} \times h_1 + w_{23}^{'} \times h_2 + w_{33}^{'} \times h_3}\\ {w_{14}^{'} \times h_1 + w_{24}^{'} \times h_2 + w_{34}^{'} \times h_3}\\ {w_{15}^{'} \times h_1 + w_{25}^{'} \times h_2 + w_{35}^{'} \times h_3}\\ \end{matrix} \right]$

   能直观地得出：${\large {\frac{\partial u_j}{\partial {w^{'}_{ij}}}}} = h_i$

5. 根据例子1中得到的输出结果：

   $\mathbf{y}=\left[ \begin{matrix} 0.191\\ 0.176\\ 0.157\\ 0.245\\ 0.231\\ \end{matrix} \right]$

   因为上下文目标词对是：$\mathbf{a} = \{0,1,0,0,0\}$ （上下文单词）和 $\mathbf b=\{0,0,0,1,0\}$（目标单词），所以在$j = 1$，的时候，$y_j = 0.191$，$t_j = 0$，$e_j = 0.191$。在$j=4$ 的时候，$y_j = 0.245$，$t_j = 1$，所以$e_j = -0.755$。这样就能得到每一个输出层神经元的预测误差。用${\mathbf e}$ 表示输出层各个位置对应的误差，在这一次计算中，有：

   $\mathbf{e}=\left[ \begin{matrix} e_1\\ e_2\\ e_3\\ e_4\\ e_5\\ \end{matrix} \right]=\left[ \begin{matrix} 0.191\\ 0.176\\ 0.157\\ -0.755\\ 0.231\\ \end{matrix} \right]$

   对输出层的第 $j$ 个神经元的净输入$u_j$求 $E$ 的导数:

   ${\large \frac{\partial E}{\partial {u_j}}}=y_j - t_j := e_j ~~~~~~ (8)$

   对 $w^{'}_{ij}$ 求导数，得到隐藏层到输出层权重的斜率（变化率）：

   ${\large {\large \frac{\partial E}{\partial {w^{'}_{ij}}}} = {\large \frac{\partial E}{\partial {u_j}}} \cdot {\frac{\partial u_j}{\partial {w^{'}_{ij}}}}}=e_j \cdot h_i ~~~~~~ (9)$

6. 通过预测误差更新权重，隐藏层到输出层权重的更新方程为：

   ${\mathbf{v}^{'}_{w_j}}^{(new)}={\mathbf{v}^{'}_{w_j}}^{(old)}-\eta \cdot e_j \cdot \mathbf{h}~~~~~~ {for}~ j = 1, 2, 3, ...,V ~~~~~~ (11)$

   $\mathbf{W}^{'T} = \left[ \begin{matrix} w_{11}^{'}&w_{21}^{'}&w_{31}^{'}\\ w_{12}^{'}&w_{22}^{'}&w_{32}^{'}\\ w_{13}^{'}&w_{23}^{'}&w_{33}^{'}\\ w_{14}^{'}&w_{24}^{'}&w_{34}^{'}\\ w_{15}^{'}&w_{25}^{'}&w_{35}^{'}\\ \end{matrix} \right]={\left[\begin{matrix} 0.11&0.35&0.60\\ 0.77&0.13&0.29\\ 0.16&0.05&0.26\\ 0.50&0.36&0.92\\ 0.25&0.37&0.89\\ \end{matrix}\right]}$

   以$j = 1$ 为例：

   ${\mathbf{v}^{'}_{w_1}}^{(old)} = {\left[\begin{matrix} 0.11\\ 0.35\\ 0.60\\ \end{matrix}\right]}$

   ${\mathbf{v}^{'}_{w_1}}^{(new)}={\mathbf{v}^{'}_{w_1}}^{(old)}-\eta \cdot (y_1 - t_1) \cdot \mathbf{h}$

   根据例子1中的计算，已经得出$y_1 = 0.191$，根据训练集的到的上下文-目标 词对，$t_1$ 为0。

   所以：

   ${\mathbf{v}^{'}_{w_1}}^{(new)}={\mathbf{v}^{'}_{w_1}}^{(old)}-\eta \cdot (y_1 - t_1) \cdot \mathbf{h}$

   ${\mathbf{v}^{'}_{w_1}}^{(new)}= {\left[\begin{matrix} 0.11\\ 0.35\\ 0.60\\ \end{matrix}\right]}-0.02 \cdot 0.191 \cdot {\left[\begin{matrix} 0.16\\ 0.02\\ 0.28\\ \end{matrix}\right]}$

   $={\left[\begin{matrix} 0.109\\ 0.35\\ 0.598\\ \end{matrix}\right]}$

   可以使用numpy进行计算：

   import numpy as np
   
   h = np.array([
   [0.16],
   [0.02],
   [0.58]
   ])
   
   v_old = np.array([
   [0.11],
   [0.35],
   [0.60]
   ])
   
   v_new = v_old - 0.02 * 0.191 * h
   
   print(v_new.round(3))
   # 打印结果（进行了四舍五入）
   [[0.109]
   [0.35 ]
   [0.598]]
   

   这就求出了${\mathbf{v}^{'}_{w_1}}^{(new)}$，

7. 按同样的方法求出 $\mathbf W ^{'}$ 1 ～ 5 列的值，就得到了新的权重矩阵 ${\mathbf W ^{'}}^{(new)}$:

   ${\mathbf W ^{'}}^{(new)} = {\left[\begin{matrix} 0.109&0.769&0.159&0.502&0.251\\ 0.35&0.13&0.05&0.36&0.37\\ 0.598&0.288&0.258&0.929&0.893\\ \end{matrix}\right]}$

遍历词汇表中的所有单词，根据得到的输出结果和实际应该输出结果的误差，先把$W^{'}$ 的值更新，然后根据更新后的$W^{'}$ 的值，把$W$ 更新，然后重新进行一遍从输入层到输出层的计算，根据得到的输出结果和实际应该输出结果的误差，重复这个过程，直到输出值 和 实际应该输出值的误差在一个较小的范围内。

三、从输入层到隐藏层的权重更新方程

对隐藏层的输出求 $E$ 的导数。

${\large {\large \frac{\partial E}{\partial {h_i}}} = \sum_{j=1}^{V}{\large \frac{\partial E}{\partial {u_j}}} \cdot {\frac{\partial u_j}{\partial {h_i}}}}= \sum_{j=1}^{V} e_j \cdot w^{'}_{ij} := \mathbf E \mathbf H_i ~~~~~~ (12)$

$h_i$ 是隐藏层的第 $i$ 个神经元的输出，$u_j$ 在公式 $(2)$ 中定义，是输出层的第$j$ 个神经元的净输入。

$u_j={\mathbf{v}^{'}_{w_j}}^T\mathbf{h} ~~~~~~ (2)$

$e_j = y_j - t_j$ 是输出层的第$j$ 个词的预测错误。

根据 $({1})$ 我们得到：

$h_i = \sum_{k=1}^V w_{ki} \cdot x_k ~~~~~~ (13)$

$\mathbf{h}=\mathbf{W^Tx}:=\mathbf{v_{w_I}^T} ~~~~~~ (1)$

对 $\mathbf{W}$ 的每一个元素求$E$ 的导数，得到：

${\large {\large \frac{\partial E}{\partial {w_{ki}}}} = {\large \frac{\partial E}{\partial {h_i}}} \cdot {\frac{\partial h_i}{\partial {w_{ki}}}}}= \mathbf E \mathbf H_i \cdot x_k ~~~~~~ (14)$

这等于$\mathbf{x}$ 和 $\mathbf{EH}$ 的张量积。

${\large \frac{\partial E}{\partial {\mathbf W}}} = \mathbf{x} \otimes \mathbf E \mathbf H = \mathbf{xEH}^T ~~~~~~ (15)$

我们得到了一个$V\times N$ 的矩阵。因为$x$ 只有一个元素是非0的，所以${\large \frac{\partial E}{\partial {\mathbf W}}}$只有一行是非0的。所有$\mathbf{W}$ 的其他行在这次迭代之后并没有改变，因为它们的导数是0。我们得到$W$ 的更新方程是：

$\mathbf v^{(new)}_{w_I} = \mathbf v^{(old)}_{w_I}-\eta\mathbf{EH}^T ~~~~~~ (16)$

因为$\mathbf{EH}$ 是词汇表中的所有单词的输出向量和他们的预测错误$e_j = y_j - t_j$的加权。我们可以理解$({16})$为：将词汇表中的每个输出向量的一部分添加到上下文单词的输入向量中。

如果$y_j > t_j$，上下文单词的输入向量$w_I$ 会移动到离输出向量$w_j$ 较远的地方；

如果$y_j < t_j$，上下文单词的输入向量$w_I$ 会移动到离输出向量$w_j$更近的地方；

如果$w_j$ 已经被相当准确地预测了，它对输入向量$w_I$的移动的影响就较小。

因为我们一遍遍地更新模型参数，通过遍历由训练语料库生成的上下文单词和目标单词对，对向量的影响会累积。在多次迭代之后，输入和输出单词之间的相对位置会最终平衡。

例子3

1. 求$\large {\frac{\partial u_j}{\partial {h_i}}}$，先回顾下例子1中的内容：

   在例子1中，用公式 $({2})$ 为每一个单词计算一个得分：

   $u_j={\mathbf{v}^{'}_{w_j}}^T\mathbf{h} ~~~~~~ (2)$

   $\mathbf{u}=\mathbf{W}^{'T}\mathbf{h}=\left[ \begin{matrix} w_{11}^{'}&w_{21}^{'}&w_{31}^{'}\\ w_{12}^{'}&w_{22}^{'}&w_{32}^{'}\\ w_{13}^{'}&w_{23}^{'}&w_{33}^{'}\\ w_{14}^{'}&w_{24}^{'}&w_{34}^{'}\\ w_{15}^{'}&w_{25}^{'}&w_{35}^{'}\\ \end{matrix} \right]\times{\left[\begin{matrix} h_1\\ h_2\\ h_3\\ \end{matrix}\right]}$

   $\mathbf{u}=\left[ \begin{matrix} {w_{11}^{'} \times h_1 + w_{21}^{'} \times h_2 + w_{31}^{'} \times h_3}\\ {w_{12}^{'} \times h_1 + w_{22}^{'} \times h_2 + w_{32}^{'} \times h_3}\\ {w_{13}^{'} \times h_1 + w_{23}^{'} \times h_2 + w_{33}^{'} \times h_3}\\ {w_{14}^{'} \times h_1 + w_{24}^{'} \times h_2 + w_{34}^{'} \times h_3}\\ {w_{15}^{'} \times h_1 + w_{25}^{'} \times h_2 + w_{35}^{'} \times h_3}\\ \end{matrix} \right]$

   $当i = 1$ 时，$\sum_{j=1}^{V}{\frac{\partial E}{\partial {u_j}}} \cdot {\frac{\partial u_j}{\partial {h_i}}}= {e_1 \times w_{11}^{'}}+ {e_2 \times w_{12}^{'}}+ {e_3 \times w_{13}^{'}}+ {e_4 \times w_{14}^{'}}+ {e_5 \times w_{15}^{'}}$

   $\mathbf{EH}_1 =0.021+ 0.135+ 0.025+ -0.379+ 0.058=-0.14$

   注意，这里的$w_{ij}^{'}$ 是通过隐藏层和输出层之间的更新方程，已经更新过的权重。

   用同样的方法，可以计算$i$ 为 1 ～ 3 时的$\sum_{j=1}^{V}{\frac{\partial E}{\partial {u_j}}} \cdot {\frac{\partial u_j}{\partial {h_i}}}$。得到$\mathbf{EH}$ 为：

   $\mathbf E \mathbf H ={\left[ \begin{matrix} -0.14&-0.055&-0.288\\\end{matrix} \right]}$

   用${\mathbf e}$ 表示输出层各个位置对应的误差，在这一次计算中，有：

   $\mathbf{e}=\left[ \begin{matrix} e_1\\ e_2\\ e_3\\ e_4\\ e_5\\ \end{matrix} \right]=\left[ \begin{matrix} 0.191\\ 0.176\\ 0.157\\ -0.755\\ 0.231\\ \end{matrix} \right]$

   根据隐藏层到输出层之间的更新方程，已经得到的新的权重矩阵 ${\mathbf W ^{'}}^{(new)}$:

   ${\mathbf W ^{'}}^{(new)} = {\left[\begin{matrix} 0.109&0.769&0.159&0.502&0.251\\ 0.35&0.13&0.05&0.36&0.37\\ 0.598&0.288&0.258&0.929&0.893\\ \end{matrix}\right]}$

   对隐藏层的输出求 $E$ 的导数：

   ${\large {\large \frac{\partial E}{\partial {h_i}}} = \sum_{j=1}^{V}{\large \frac{\partial E}{\partial {u_j}}} \cdot {\frac{\partial u_j}{\partial {h_i}}}}= \sum_{j=1}^{V} e_j \cdot w^{'}_{ij} := \mathbf E \mathbf H_i ~~~~~~ (12)$

2. 使用更新方程得到新的权重

   在例子1中，输入层输入的独热向量，在$k=2$ 时为1，其余时候为0。

   $\mathbf{h}=\mathbf{W^Tx}={\left[\begin{matrix} w_{11}&w_{21}&w_{31}&w_{41}&w_{51}\\ w_{12}&w_{22}&w_{32}&w_{42}&w_{52}\\ w_{13}&w_{23}&w_{33}&w_{43}&w_{53}\\ \end{matrix}\right]} \times{\left[\begin{matrix} x_1\\ x_2\\ x_3\\ x_4\\ x_5\\ \end{matrix}\right]}$

   $={\left[\begin{matrix} w_{11} \times x_1 + w_{21} \times x_2 + w_{31} \times x_3 + w_{41} \times x_4 + w_{51} \times x_5\\ w_{12} \times x_1 + w_{22} \times x_2 + w_{32} \times x_3 + w_{42} \times x_4 + w_{52} \times x_5\\ w_{13} \times x_1 + w_{23} \times x_2 + w_{33} \times x_3 + w_{43} \times x_4 + w_{53} \times x_5\\ \end{matrix}\right]}$

   在这个例子中，输入的独热向量在$k=2$ 时为1，其余时候为0。

   ${\large \frac{\partial E}{\partial {\mathbf W}}} = \mathbf{x} \otimes \mathbf E \mathbf H =\left[\begin{matrix} x_1\\ x_2\\ x_3\\ x_4\\ x_5\\ \end{matrix}\right] \otimes {\left[ \begin{matrix} -0.14&-0.055&-0.288\\\end{matrix} \right]}$

   $=\left[\begin{matrix} -0.14 \times x_1&-0.055 \times x_1&-0.288 \times x_1\\ -0.14 \times x_2&-0.055 \times x_2&-0.288 \times x_2\\ -0.14 \times x_3&-0.055 \times x_3&-0.288 \times x_3\\ -0.14 \times x_4&-0.055 \times x_4&-0.288 \times x_4\\ -0.14 \times x_5&-0.055 \times x_5&-0.288 \times x_5\\ \end{matrix}\right]$

   $=\left[\begin{matrix} 0&0&0\\ -0.14&-0.055&-0.288\\ 0&0&0\\ 0&0&0\\ 0&0&0\\ \end{matrix}\right]$

   $\mathbf{W}^{(new) }={\left[\begin{matrix} 0.03&0.23&0.21\\ 0.16&0.02&0.58\\ 0.12&0.56&0.66\\ 0.32&0.19&0.99\\ 0.61&0.32&0.35\\ \end{matrix}\right] - 0.02 \cdot \left[\begin{matrix} 0&0&0\\ -0.14&-0.055&-0.288\\ 0&0&0\\ 0&0&0\\ 0&0&0\\ \end{matrix}\right]}$

   $=\left[\begin{matrix} 0.03&0.23&0.21\\ 0.162&0.021&0.586\\ 0.12&0.56&0.66\\ 0.32&0.19&0.99\\ 0.61&0.32&0.35\\ \end{matrix}\right]$

   这就是更新后的输入层到隐藏层的权重。

以上过程大致总结如下：

从这里到之后的内容，只是大致看了下，并没有进行实际的计算。先记录在这里，后续如果有时间可以再细看并补充一下这部分内容。

多个单词的上下文

有多个上下文单词的CBOW模型是这样的如下图所示:

又多个上下文单词的CBOW模型取了输入上下文单词向量的平均值。

$\mathbf{h} = \frac{\Large 1}{\Large C}\mathbf{W}^T(\mathbf x_1 + \mathbf x_2 + ... + \mathbf x_C) ~~~~~~ (17)$

$~~~ = \frac{\Large 1}{\Large C}(\mathbf v_{w1} + \mathbf v_{w2} + ... + \mathbf v_{wC}) ^T ~~~~~~ (18)$

$C$ 是上下文中单词的数量，$w_1,...,w_C$ 是上下文中的单词，$\mathbf v_w$ 是一个单词$w$ 的输入向量，损失方程是：

$~~~~~~~~~~ E = -log~p(w_O|w_{I,1}, ...,w_{I,C}) ~~~~~~ (19)$

$~~~~~~~~~~~ =-u_{j^*} +log\sum^V_{j^{'}=1}e^{u_{j^{'}}} ~~~~~~ (20)$

$= -{\mathbf v^{'}_{wO}}^T \cdot \mathbf h + log \sum_{j^{'}=1}^Ve^{ {\mathbf v^{'}_{wj}}^T} ~~~~~~ (21)$

隐藏层到输出层的权重的更新方程和一个单词的上下文模型的方程$({11})$一样：

${\mathbf{v}^{'}_{w_j}}^{(new)}={\mathbf{v}^{'}_{w_j}}^{(old)}-\eta \cdot e_j \cdot \mathbf{h}~~~~~~ {for}~ j = 1, 2, 3, ...,V ~~~~~~ (22)$

输入层和隐藏层权重的更新方程和$({16})$类似，除了我们现在需要为上下文中的每一个单词$w_{I,C}$ 应用这个单词：

$\mathbf v^{(new)}_{w_I} = \mathbf v^{(old)}_{w_I}-\eta\mathbf{EH}^T ~~~~~ {for} ~ c = 1, 2, 3, ...,C ~~~~~~ (23)$

Skip-Gram模型

skip-gram模型和CBOW模型是相反的，目标词是输入层，上下文单词在输出层。

$\mathbf{h}=\mathbf{W^Tx} = \mathbf{W^T_{(k, \cdot)}} :=\mathbf{v_{w_I}^T} ~~~~~~ (24)$

$p(w_{c,j}=w_{O,c}|w_I)=y_{c,j}={\Large \frac{e^{u_{c,j}}}{\sum_{j^{'}=1}^Ve^{u_{j^{'}}}}} ~~~~~~ (25)$

$w_{c,j}$ 是输出层第 $c$ 个面板上的第 $j$ 个单词；$w_{O,c}$ 是输出上下文单词中实际的第$c$ 个单词。$w_I$ 是输入单词，$y_c,j$ 是输出层的第$c$ 个面板的第$j$ 个神经元的输出。$u_{c,j}$ 是输出层的第$c$ 个面板的第$j$ 个神经元的净输入。

$u_{c,j}=u_j={\mathbf{v}^{'}_{w_j}}^T \cdot \mathbf{h}~~~~~ {for}~c=1,2,3...,C ~~~~~~ (26)$

损失函数是：

$E=-log~p(w_{O,1},w_{O,2},...,w_{O,C}|w_I) ~~~~~~ (27)$

$~~ =-log~\prod^C_{c=1}{\Large \frac{e^{u_{c,{j^*_c}}}}{\sum_{j^{'}=1}^Ve^{u_{j^{'}}}}} ~~~~~~ (28 )$

$~~ =-\sum^C_{c=1} u_{j^*_c} +C \cdot log\sum^V_{j^{'}=1}e^{u_{j^{'}}} ~~~~~~ (29)$

$j_c^*$ 是词汇表中的实际的第$c$ 个输出上下文单词的索引。

${\large \frac{\partial E}{\partial {u_{c,j}}}}=y_{c,j} - t_{c,j} := e_{c,j} ~~~~~~ (30)$

这是神经元的预测错误，和$(8)$ 一样。为了简单声明，我们定义了一个$V$ 维向量 $\mathbf{EI} =\{\mathbf{EI}_1,...,\mathbf{EI}_V\}$作为所有上下文单词的预测错误的和：

$\mathbf{EI}_j = \sum^C_{c=1}e_{c,j} ~~~~~~ (31)$

现在，对隐藏层到输出层的矩阵$\mathbf W^{'}$求$E$ 的导数，得到：

${\large {\large \frac{\partial E}{\partial {w_{ij}^{'}}}} = \sum^C_{c=1} {\large \frac{\partial E}{\partial {u_{c,j}}}} \cdot {\frac{\partial u_{c,j}}{\partial {w_{ij}^{'}}}}}= \mathbf E \mathbf I_j \cdot h_i ~~~~~~ (32)$

因此，我们得到隐藏层到输出层的矩阵$\mathbf W^{'}$的更新方程：

${w^{'}_{w_{ij}}}^{(new)}={w^{'}_{w_{ij}}}^{(old)}-\eta \cdot \mathbf{EI}_j \cdot h_i ~~~~~~ (33)$

或者

${\mathbf{v}^{'}_{w_j}}^{(new)}={\mathbf{v}^{'}_{w_j}}^{(old)}-\eta \cdot \mathbf{EI}_j \cdot \mathbf{h}~~~~~~ {for}~ j = 1, 2, 3, ...,V ~~~~~~ (34)$

输入层到隐藏层之间的更新方程：

${\mathbf{v}_{w_I}}^{(new)}={\mathbf{v}_{w_I}}^{(old)}-\eta \cdot \mathbf{EH}^T ~~~~~~ (35)$

$\mathbf{EH}$ 是一个$N$ 维向量，每一个元素被定义为：

$\mathbf{EH}_i=\sum^{V}_{j=1}\mathbf{EI}_j \cdot w_{ij}^{'} ~~~~~~ (36)$

参考内容

1. 论文：《word2vec Parameter Learning Explained》
2. 书籍：《自然语言处理实战》
3. 维基百科中对各个名词的解释。