神经网络之将二分类问题推广到多分类问题本文已参与「新人创作礼」活动，一起开启掘金创作之路。将神经网络应用到多类分类问题

本文已参与「新人创作礼」活动，一起开启掘金创作之路。

将神经网络应用到多类分类问题中时，输出层的形式不能用logistic函数（sigmoid激活函数），而应该推广到softmax函数。二分类问题与多分类问题的神经网络模型的最大区别就是输出层。因此下面重点讲解softmax函数的原理。

Softmax回归详解

在softmax回归中，我们解决的是多分类问题（相对于logistic回归解决的二分类问题），标记 $y$ 可以取 $k$ 个不同的值。对于训练集 $\{(x^{(1)},y^{(1)}),\cdots,(x^{(m)},y^{(m)})\}$ ，我们有 $y^{(j)}\in \{1,2,\cdots,k\}$ 。
对于给定的测试输入 $x$ ，我们想用假设函数针对每一个类别 $j$ 估算出概率值 $P(y=j|x)$ 。因此，我们的假设函数要输出一个 $k$ 维的向量（向量元素的和为1）来表示 $k$ 个估计的概率值。我们采用如下形式的假设函数 $h_{\theta}(x)$ ：

\begin{aligned} h_{\theta}(x^{(i)})&= \begin{bmatrix} P(y^{(i)}=1|x^{(i)};\theta) \\ P(y^{(i)}=2|x^{(i)};\theta) \\ \vdots \\ P(y^{(i)}=10|x^{(i)};\theta) \end{bmatrix} \\ &=\frac{1}{\sum_{j=1}^ke^{\theta_j^Tx^{(i)}}} \begin{bmatrix} e^{\theta_1^Tx^{(i)}} \\ e^{\theta_2^Tx^{(i)}} \\ \vdots \\ e^{\theta_k^Tx^{(i)}} \end{bmatrix} \\ \tag{1-1} \end{aligned}

假设输入向量 $x$ 的维数为 $n$ ，则参数 $\theta$ 是一个 $k\times (n+1)$ 的参数矩阵，之所以是 $n+1$ 是因为把截距项 $b$ 表示成了 $\theta_0\times x_0$ ，其中 $x_0=1$ 是一个人工辅助变量。利用极大似然估计的方法，可以得到每一类的后验概率表达式： $P(y^{(i)}|x^{(i)};\theta)=\prod_{j=1}^k\left\{\frac{e^{\theta_j^Tx^{(i)}}}{\sum_{l=1}^ke^{\theta_l^Tx^{(i)}}}\right\}^{1(y^{(i)}=j)} \tag{1-2}$
似然函数为：

\begin{aligned} L(\theta) &=P(\boldsymbol{Y}|\boldsymbol{X};\theta) \\ &=\prod_{i=1}^{m}P(y^{(i)}|x^{(i)};\theta) \\ &=\prod_{i=1}^{m}\prod_{j=1}^k\left\{\frac{e^{\theta_j^Tx^{(i)}}}{\sum_{l=1}^ke^{\theta_l^Tx^{(i)}}}\right\}^{1(y^{(i)}=j)}\\ \tag{1-3} \end{aligned}

对数似然函数为：

\begin{aligned} l(\theta) &=\log L(\theta) \\ &=\sum_{i=1}^{m}\sum_{j=1}^k1(y^{(i)}=j)\log{\frac{e^{\theta_j^Tx^{(i)}}}{\sum_{l=1}^ke^{\theta_l^Tx^{(i)}}}}\\ \tag{1-4} \end{aligned}

上面的 $(1-4)$ 就是loss function。 cost function为：

J(\theta)=-\frac{1}{m}\left[\sum_{i=1}^{m}\sum_{j=1}^k1(y^{(i)}=j)\log{\frac{e^{\theta_j^Tx^{(i)}}}{\sum_{l=1}^ke^{\theta_l^Tx^{(i)}}}}\right] \tag{1-5}

多分类问题的目标就是利用训练数据来训练模型参数 $\theta$ 使其能够最小化 $(1-5)$ 。 $(1-5)$ 是一个凸函数，可以利用梯度下降法得到全局最小值。