简短介绍

最近在学习CNN，从最简单LeNet等经典网络开始学习，准备对CNN的发展做一个比较详细的梳理学习，在这里记录下学习的内容。

CNN的发展历史

AlexNet

AlexNet在2012年的ImageNet图像分类大赛中夺得第一名，将top-5错误率瞬间提升了百分之十以上。之后，CNN重回历史舞台。首先看一下它的网络结构：

这是论文中的给出的结构图，看起来很复杂，我们简化一下。

这是吴恩达深度学习课程中给出的讲义(注意这里输入的是的 ${227* 227 * 3}$ 格式,与论文中有所不同，但是对网络结构没有影响)。

AlexNet的网络结构

Conv_1: 卷积层，输入: ${227 *227 *3}$ ,使用 ${96}$ 个 ${11 * 11 * 3}$ 核卷积，步长为 ${4}$ ，卷积之后长宽为 ${\lfloor\frac{227-11}{4}\rfloor+1 = 55}$ ,所以输出格式为 ${55 * 55 * 96}$
Max-pooling:输入为 ${ 55 * 55 * 96}$ ,pool: ${3 * 3 }$ ,步长为:2,所以pool之后长宽为: ${\lfloor\frac{55 - 3}{2}\rfloor + 1 = 27}$ ,输出为: ${27 * 27 * 96}$
Conv_2:卷积层，输入: ${27 * 27 * 96}$ ,使用 ${256}$ 个 ${5 * 5 * 96}$ ,步长为 ${1}$ ,padding为same. Padding常用的有两种same,valid:
- SAME padding:
  
  ${outheight = \lceil\frac{float(inheight)}{float(strides[1])}\rceil}$
  
  ${outwidth =\lceil\frac{float(in_width)}{float(strides[2])}\rceil}$
- VALID padding:
  
  ${outheight = \lceil\frac{float(inheight - filterheight)}{ float(strides[1])}\rceil + 1}$ ${outwidth = \lceil\frac{float(inwidth - filterwidth )}{float(strides[2])}\rceil + 1}$
所以此时Padding为左右两边均是 ${2}$ 。输出结果: ${27 * 27 *256}$ .
Max-pooling:输入为: ${27 * 27 *256}$ ,pool为 ${3 * 3 }$ ,步长为 ${2}$ ,长度为: ${\lfloor\frac{27 - 3}{2}\rfloor + 1 = 13}$ ,输出结果为: ${13 * 13 * 256}$
Conv_3,Conv_4,Conv_5:输入输出均为 ${13 * 13 * 256}$ ,步长为 ${1}$ ,核为 ${3 * 3 * 256}$ ,Padding为Same。
Max-pooling:输入 ${13 * 13 * 256}$ ，pool: ${3 * 3}$ ,步长为 ${2}$ 输出结果为 ${6 * 6 * 256}$ ,也就是 ${9216}$ 个特征变量。
FC:全连接层有两个隐藏层，从 ${9216 \Rightarrow 4096 \Rightarrow 4096 \Rightarrow_{softmax} 1000}$

AlexNet高性能的解释

非线性激活函数：ReLU
防止过拟合的方法：Dropout，Data augmentation
大数据训练：百万级ImageNet图像数据
其他：GPU实现，LRN归一化层的使用

ReLU

优点:

ReLU本质上是分段线性模型，前向计算非常简单，无需指数之类操作；

ReLU的偏导也很简单，反向传播梯度，无需指数或者除法之类操作；

ReLU不容易发生梯度发散问题，Tanh和Logistic激活函数在两端的时候导数容易趋近于零，多级连乘后梯度更加约等于0；

ReLU关闭了右边，从而会使得很多的隐层输出为0，即网络变得稀疏，起到了类似L1的正则化作用，可以在一定程度上缓解过拟合。

缺点:

左边全部关了很容易导致某些隐藏节点永无翻身之日，所以后来又出现pReLU、random ReLU等改进，而且ReLU会很容易改变数据的分布，因此ReLU后加Batch Normalization也是常用的改进的方法。

Data Augmentation

从原始图像（256,256）中，随机的crop出一些图像（224,224）。【平移变换，crop】

水平翻转图像。【反射变换，flip】

给图像增加一些随机的光照。【光照、彩色变换，color jittering】

AlexNet 训练的时候，在data augmentation上的处理：

随机crop。训练时候，对于256＊256的图片进行随机crop到224＊224，然后允许水平翻转，那么相当与将样本倍增到 ${((256-224)^2)*2=2048}$ 。

测试时候，对左上、右上、左下、右下、中间做了5次crop，然后翻转，共10个crop，之后对结果求平均。作者说，不做随机crop，大网络基本都过拟合(under substantial overfitting)。

对RGB空间做PCA，然后对主成分做一个 ${(0, 0.1)}$ 的高斯扰动。结果让错误率又下降了1%。

Dropout

结合多个训练模型可以减少测试误差，但是在神经网络中，训练每个模型都需要大量的时间，代价昂贵。Dropout通过在隐藏层中以rate概率随机将部分神经元输出设置为0，这些神经元既不参于前向传播，也不参与反向传播。所以每次提出一个输入，该神经网络就尝试一个不同的结构，但是所有这些结构之间共享权重。因为神经元不能依赖于其他特定神经元而存在，所以这种技术降低了神经元复杂的互适应关系。在测试时只需要除以 ${\frac{1}{1-rate}}$ 。

Local Response Normalization

局部响应归一化原理是仿造生物学上活跃的神经元对相邻神经元的抑制现象（侧抑制）。

本质上，这个层也是为了防止激活函数的饱和的。

${n=5}$ 是神经元的影响范围。

${k=2,\alpha=10^{-4},\beta=0.75}$ 是超参数。

参考资料: