深度学习（二）：神经网络

在之前的感知机中，虽然它有着理论上能表示很多复杂函数的可能，但是设定权重等都是人工进行的。 而神经网络的出现就是为了解决这个问题，神经网络是可以自动地从数据中学习到合适的权重参数。

一，从感知机到神经网络

1.1 神经网络介绍

如下图所示，是一个简单的神经网络图

我们把最左边的一列称为输入层，最右边的一列称为输出层，中间的一列称为中间层（有时也称为隐藏层）。 为了方便，我们把输入层称为第0层，向右依次增大

1.2 引出激活函数

之前感知机的式子表达如下：

若将b也画出来，那么应该是一个固定的b，输入为1，权重系数为b，如下所示

若再将感知机的式子改写成两个：

对于式2来说，它就是把将输入信号的总和转换为输出信号，总和小于等于0就输出0，大于0就输出1，我们把这种函数称为激活函数

如果用图来表示，激活函数起到的作用可以看下图：

图中，信号的总和到a，然后a再应用$h(x)$到输出$y$

二，激活函数

如式2所示的函数，称为阶跃函数

阶跃函数以0为界，输出从0切换为1

2.1 sigmoid函数

也是最经常使用的，公式如下

图像如下所示

如果和阶跃函数对比，首先注意到的是“平滑性”的不同。sigmoid函数是一条平滑的曲线，输出随着输入发生连续性的变化。而阶跃函数以0为界，输出发生急剧性的变化。

这个平滑性也就是说，感知机中神经元之间流动的是0或1的二元信号，而神经网络中流动的是连续的实数值信号。

假如用代码来表示，如下所示：

def sigmoid(x):
  return 1 / (1 + np.exp(-x))

2.2 非线性函数

sigmoid函数和阶跃函数都是非线性函数，在神经网络中，使用线性函数后，无论怎么加深层数，模型还是线性的。所以，为了发挥叠加层所带来的优势，激活函数必须使用非线性函数。

2.3 ReLU函数

ReLU函数在输入大于0时，直接输出该值；在输入小于等于0时，输出0

图像如下所示

用代码来表示为

def relu(x):
  return np.maximum(0, x)

三，3层神经网络的实现

要实现如下图所示的3层神经网络的从输入到输出的处理

3层神经网络：输入层（第0层）有2个神经元，第1个隐藏层（第1层）有3个神经元，第2个隐藏层（第2层）有2个神经元，输出层（第3层）有2个神经元

3.1 符号确认

因为一个字符涉及到的表达维度太多，所以需要介绍一下写法代表的意思，如$w_{12}^{(1)}$中，各个数字表达的意思如下：

权重和隐藏层的神经元的右上角有一个“(1)”，它表示权重和神经元的层号。权重的右下角有两个数字，它们是后一层的神经元和前一层的神经元的索引号

3.2 各层间信号传递的实现

从输入层到第1层的第1个神经元的信号传递过程如下：

b的右下角索引只有一个的原因是因为偏置神经元只有1个，结合图中可知，$a_1^{(1)}$的算法如下：

而如果我们要表示第1层的计算结果，可以使用矩阵的乘法运算来表示

$A^{(1)}$、$X$、$B^{(1)}$、$W^{(1)}$如下所示

此时使用Numpy多维数组来实现，先将输入信号、权重、偏置设置成任意值。

X = np.array([1.0, 0.5])
W1 = np.array([[0.1, 0.3, 0.5], [0.2, 0.4, 0.6]])

B1 = np.array([0.1, 0.2, 0.3])
print(W1.shape) # (2, 3)
print(X.shape) # (2,)
print(B1.shape) # (3,)

A1 = np.dot(X, W1) + B1

计算出来加权和后，进入到激活函数的计算过程，用图来表示如下所示

此时假如使用sigmoid函数（之前已定义）作为激活函数，用代码表示如下：

Z1 = sigmoid(A1)

print(A1) # [0.3, 0.7, 1.1]
print(Z1) # [0.57444252, 0.66818777, 0.75026011]

再实现第1层到第2层的信号传递

除了第1层的输出（Z1）变成了第2层的输入这一点以外，其他的和刚才相同，用代码表示

W2 = np.array([[0.1, 0.4], [0.2, 0.5], [0.3, 0.6]])
B2 = np.array([0.1, 0.2])
print(Z1.shape) # (3,)
print(W2.shape) # (3, 2)
print(B2.shape) # (2,)
A2 = np.dot(Z1, W2) + B2
Z2 = sigmoid(A2)

最后是第2层到输出层的信号传递。

此处只有最后的激活函数有点差别，因为此处要输出什么结果完全取决于求解需要的结果，一般地，回归问题可以使用恒等函数，二元分类问题可以使用 sigmoid函数，多元分类问题可以使用 softmax函数。

用代码实现如下：

def identity_function(x):
  return x

W3 = np.array([[0.1, 0.3], [0.2, 0.4]])
B3 = np.array([0.1, 0.2])
A3 = np.dot(Z2, W3) + B3
Y = identity_function(A3) # 或者Y = A3

3.3 代码小结

已完成了3层神经网络的实现，把完整的代码整理如下：

import numpy as np


def sigmoid(x):
  return 1 / (1 + np.exp(-x))

def identity_function(x):
  return x

#进行权重和偏置的初始化，并将它们保存在字典变量network中
def init_network():
  network = {}
  network['W1'] = np.array([[0.1, 0.3, 0.5], [0.2, 0.4, 0.6]])
  network['b1'] = np.array([0.1, 0.2, 0.3])
  network['W2'] = np.array([[0.1, 0.4], [0.2, 0.5], [0.3, 0.6]])
  network['b2'] = np.array([0.1, 0.2])
  network['W3'] = np.array([[0.1, 0.3], [0.2, 0.4]])
  network['b3'] = np.array([0.1, 0.2])

  return network

#封装了将输入信号转换为输出信号的处理过程
def forward(network, x):
  W1, W2, W3 = network['W1'], network['W2'], network['W3']
  b1, b2, b3 = network['b1'], network['b2'], network['b3']

  a1 = np.dot(x, W1) + b1
  z1 = sigmoid(a1)
  a2 = np.dot(z1, W2) + b2
  z2 = sigmoid(a2)
  a3 = np.dot(z2, W3) + b3

  y = identity_function(a3)

  return y


network = init_network()
x = np.array([1.0, 0.5])
y = forward(network, x)
print(y) # [ 0.31682708 0.69627909]

四，输出层的设计

之前有说过输出层的激活函数要根据实际情况改变。一般而言，回归问题用恒等函数，分类问题用softmax函数。这节详细解释一下

4.1 恒等函数和softmax函数

恒等函数会将输入按原样输出，对于输入的信息，不加以任何改动地直接输出。恒等函数进行的转换处理可以用一根箭头来表示。

分类问题中使用的softmax函数可以用下式所示

表示假设输出层共有n个神经元，计算第k个神经元的输出$y_k$，用图来表示如下：

用python来显示如下所示：

def softmax(a):
  c = np.max(a)
  exp_a = np.exp(a-C) #防止溢出
  sum_exp_a = np.sum(exp_a)
  y = exp_a / sum_exp_a

  return y

4.2 softmax函数的特征

softmax函数的输出是0.0到1.0之间的实数，而且函数的输出值的总和是1。所以，把softmax函数的输出解释为“概率”。但是，即便使用了softmax函数，各个元素之间的大小关系也不会改变。 而一般而言，神经网络只把输出值最大的神经元所对应的类别作为识别结果。因此，神经网络在进行分类时，输出层的softmax函数可以省略。

4.3 输出层的神经元数量

输出层的神经元数量需要根据待解决的问题来决定。 对于分类问题，输出层的神经元数量一般设定为类别的数量。