携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第27天，点击查看活动详情
激励层
输入层的结果经卷积层处理后传入本层，再由本层对传入的数据进行非线性处理，本层中的函数叫做激活函数。在卷积神经网络中，常见的有Sigmoid函数、Tanh函数、ReLU函数和PReLU函数。如图所示。本文用到的是激活函数是ReLU函数，因此下文对ReLU函数做详细描述。
在卷积神经网络中，ReLU函数，即修正线性单元，是一种最常见的激活函数。ReLU函数，其公式为：
由上式可知，该函数为分段函数，当输入值x<0时，ReLU函数不会产生有效响应，输出恒定为0，抑制神经元的激活；当输入值x≥0时，神经元被激活，[20]说明ReLU函数可以起到单边抑制作用，那么就可以在一定程度上提高网络的稀疏性，减小了网络各个参数间的关联程度，从而降低了过度拟合的概率。在此基础上，引入的输入和输出是等效的，且导值为常数1，从而解决了梯度弥散的问题。另外，使用ReLU函数训练深度卷积神经网络时收敛更快。
池化层
池化层(Pooling Layer)又称为下采样层。如果在神经网络中放入太大的特征图，既增加网络的训练参数，又增加学习难度，而且容易陷入过度拟合，很难得到预期的结果。而在经过池化层之后，所得到的特征图数目不变，但所得到的特征图的大小减小，使得计算的复杂性大为降低，常用的两种方法是：最大池化和平均池化。
最大池化：从图可以看到2x2的池化窗，在4x4分辨率的图片上执行最大池化操作，步长为2。第一个池化窗是3，6，1，2，其中最大值是6。接着，再往右边走两步，继续计算最大值。当池化窗移到最右侧时，再回到最左侧，再往下走2步，然后继续右移，直到遍及整个图片。
平均池化：显示为2×2的池化窗在一个分辨率为4×4的图像上进行平均池化运算，步长是2。第一个池化窗是3、6、1和2，其中平均值是3。接着，再向右移动两步得到第二个池化窗，继续计算平均值。当池化窗移动到最右侧时，再回到最左侧，再向下走两步，然后继续右移，直至遍及整个图片。
全连接层
全连接层本质上是一种对卷积神经网络进行分类的数学模型。与上面提到的3层的主要功能近乎相同。主要是将原始信息传送到隐藏层的特征空间，也就是本层将各卷积层提取到的全部局部特征标注不同的权值，再进行整合、标注和分类。实现全连接层用的是数学卷积方法：全连接层在卷积神经网络的末端，在神经网络中，为了解决多分类问题，通常都会在全连接层后面加上Softmax分类器。利用Softmax分类器对网络的输出向量进行归一化操作，得出各类型的概率大小，各类型的概率之和为1时，选择最大概率的样本类型作为网络的输出。如图3.11为卷积神经网络的整体结构。
