1. 前馈神经网络基础教程

1.1. 概述

以监督学习为例，假设我们有训练样本集 $(x(^i),y(^i))$ ，那么神经网络算法能够提供一种负责且非线性的假设模型 $h_{W,b}(x)$ ，它具有参数 $W,b$ ，可以通过调整此参数来拟合我们的数据。

为了描述神经网络，我们先从最简单的神经网络讲起，这个神经网络仅由一个“神经元”构成，以下即是这个“神经元”的图示：单个神经元示意图

这个“神经元”是一个以 $x_1, x_2, x_3$ 及截距+1为输入值的运算单元，其输出为 $h_{W,b}(x)=f(W^TX)=f(\sum_{i=1}^{3}W_ix_i+b)$ ，其中函数 $f:\mathscr{R}\longmapsto \mathscr{R}$ 被称为激活函数。注意，有的教程中用 $x_0=1$ 来表示截距+1。在本教程中，我们选用sigmoid函数作为激活函数 $f(\cdot)$ ： $f(z)=\frac{1}{1+exp(-z)}$ 可以看出，这个单一“神经元”的输入输出映射关系其实就是一个逻辑回归(logistic regression)。 ##1.2. 神经网络模型所谓神经网络就是将许多个单一“神经元”联结在一起，这样，一个“神经元”的输出就可以是另一个“神经元”的输入。下图是一个简单的神经网络例子：这里写图片描述我们使用圆圈来表示神经网络的输入，标上“+1”的圆圈被称为偏置节点，也就是截距项。神经网络最左边的一层叫做输入层，最右边的一层叫做输出层（在本例中，输出层只有一个节点）。中间所有节点组成的一层叫做隐藏层，因为我们不能在训练样本集中观测到它们的值。同时可以看到，以上神经网络的例子中有3个输入单元（偏置单元不计在内），3个隐藏单元以及1个输出单元。

我们用 $n_l$ 来表示网络的层数，本例中 $n_l=3$ ，记第 $l$ 层记为 $L_l$ ，于是 $L_1$ 是输入层， $L_{n_l}$ 是输出层。本例神经网络有参数 $(W,b)=(W^{(1)},b^{(1)},W^{(2)},b^{(2)})$ ，其中 $W_{ij}^{(l)}$ （下面的式子中用到）是第 $l$ 层第 $j$ 单元与第 $l+1$ 层第 $i$ 单元之间的联接参数（连接线上的权重，从 $j$ 到 $i$ ）， $b_i^{(l)}$ 是第 $l+1$ 层第 $i$ 单元的偏置项。因此在本例中， $W^{(1)}\in\mathscr{R}^{3\times3}$ ， $W^{(2)}\in\mathscr{R}^{1\times3}$ 。注意，偏置单元没有输入，是因为他们总是输出+1。同时，我们用 $s_l$ 表示第 $l$ 层的结点数（不包括偏置单元）。

我们用 $a_i^{(l)}$ 表示第 $l$ 层第 $i$ 单元的激活值的（输出值）。当 $l=1$ 时， $a_i^{(l)}=x_i$ ，也就是输入层的第 $i$ 个输入值（输入值的第 $i$ 个特征）。对于给定参数集合 $W,b$ ，我们的神经网络就可以按照 $h_{W,b}(x)$ 来计算输出结果。本例中神经网络的计算步骤如下：

\begin{aligned} a_1^{(2)}&=f(W_{11}^{(1)}x_1+W_{12}^{(1)}x_2+W_{13}^{(1)}x_3+b_1^{(1)})\\ a_2^{(2)}&=f(W_{21}^{(1)}x_1+W_{22}^{(1)}x_2+W_{23}^{(1)}x_3+b_2^{(1)})\\ a_3^{(2)}&=f(W_{31}^{(1)}x_1+W_{32}^{(1)}x_2+W_{33}^{(1)}x_3+b_3^{(1)})\\ h_{W,b}(x)&=a_1^{(3)}=f(W_{11}^{(2)}a_1^{(2)}+W_{12}^{(2)}a_2^{(2)}+W_{13}^{(2)}a_3^{(2)}+b_1^{(2)}) \end{aligned}

我们用 $z_i^{(l)}$ 表示第 $l$ 层第 $i$ 单元输入加权和（包括偏置单元），比如， $z_i^{(2)}=\sum_{j=1}^nW_{ij}^{(1)}x_j+b_i^{(1)}$ ， $a_i^{(2)}=f(z_i^{(2)})$ 。

我们将激活函数 $f(\cdot)$ 扩展为向量形式： $f([z_1,z_2,z_3])=[f(z_1),f(z_2),f(z_3)]$ ，那么，上面的等式可以更简洁地表示为：

\begin{aligned} z^{(2)}&=W^{(1)}x+b^{(1)}\\ a^{(2)}&=f(z^{(2)})\\ z^{(3)}&=W^{(2)}a^{(2)}+b^{(2)}\\ h_{W,b}(x)&=a^{(3)}=f(z^{(3)})\\ \end{aligned}

我们将上面的计算步骤叫做前向传播。给定第 $l$ 层的激活值 $a^{(l)}$ 后，第 $l+1$ 层的激活值 $a^{(l+1)}$ 就可以按照下面步骤计算得到：

\begin{aligned} z^{(l+1)}&=W^{(l)}a^{(l)}+b^{(l)}\\ a^{(l+1)}&=f(z^{(l+1)})\\ \end{aligned}

将参数矩阵化，使用矩阵-向量运算方式，我们就可以利用线性代数的优势对神经网络进行快速求解。神经网络也可以由多个隐藏层和多个输出单元，例如下图所示：这里写图片描述像上图这样的网络，叫做前馈神经网络，这种联接图没有闭环或回路。

本文主要参考链接