引言
AlexNet-8是来自多伦多大学的Alex Krizhevsky提出的深度卷积神经网络。AlexNet以Top5准确率超过第二名10个百分点的优势赢了比赛冠军。被认为是深度学习革命的开端，标志着深度学习在计算机视觉领域的崛起。本文将深入剖析AlexNet-8的网络结构。
模型结构
AlexNet包含8个可学习层，5个卷积层，3个全连接层，最后是对全连接输出的1000个分类做Softmax。
1、观察模型代码（torchvision库）
1）AlexNet解决的是ImageNet分类问题，可以看到下图，结构非常简单
2）前向中分为两个阶段，一个是特征提取，一个是分类，中间穿插了一次平均池化
3）激活用到了ReLU，整体上和现在最新的CNN结构已经非常相似
2、跑下MiniImageNet
1）相比LeNet跑Minist，收敛很慢
2）跑了90个epoch，Top1精度在68%左右
3、算下参数量
3x64x11x11+64x192x5x5+192x384x3x3+384x256x3x3+256x256x3x3+256x6x6x4096+4096x4096+4096x1000
=61090496
总共6000多万的参数量，61M，和resnet差不多
总结
1、创新性地引入了ReLU、Dropout，这些特性一直被沿用至今
2、引入了分布式训练、动态学习率调整，完善了当时的训练策略
3、证明了深度学习的可行性，推动了深度学习爆发式地增长
