AlexNet

2012年由Hinton和他的学生Alex Krizhevsky设计

亮点

首次利用GPU训练网络

使用ReLU，而不是Sigmoid和Tanh，避免求导麻烦和网络较深时出现梯度消失

使用LRN局部响应归一化

在全连接层的前两层使用了Dropout随机失活神经元操作，以减少过拟合

网络结构