持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第18天，点击查看活动详情

前言

AlexNet

作者：Alex Krizhevsky（第一作者）

学习建议：精读经典论文；跟进最新论文；整理关注论文；复现领域论文；写作论文

1 论文研究背景

两个重要条件:

1CNN 表示训练一次AlexNet取得的准确率

5CNNs表示训练五次AlexNet取平均值的准确率

CNN* 在最后一个池化层之后，额外添加第六个卷积层使用ImageNet 2011(秋）数据集上预训练然后使用ILSVRC-2012微调的准确率

7CNNs* 两个网络进行了预训练微调，与5CNNs取均值的准确率

LSVRC-2012上top-5错误率分别为15.3%，取得了冠军

想要获得更好的识别能力需要更加庞大的训练数据及更加复杂的拟合参数。

tensorflow

CNN

图像分类

softmax

重点：Relu 和 dropout

非线性单元Relu

f(x)=max(0,x)

f(x) = \begin{cases} x, & \text{if $x$ > 0} \\ 0, & \text{if $x$ <= 0} \end{cases}

Relu优点:

1.可以使网络训练得更快

2.增加网络的非线性

3.防止梯度消失（弥散)

4.使网络具有稀疏性

dropout层

作用:随机将一定比例的神经元置为0

对于一个有N个节点的神经网络，有了dropout后，就可以看做是2n个模型的集合了

相当于机器学习中的模型融合ensemble