代码练习

1.pytorch基础练习

2.螺旋数据分类

问题总结

1.AlexNet有哪些特点？为什么可以比LeNet取得更好的性能?

以下是AlexNet的几个主要特点:

• 大型模型：AlexNet是一个相对较大的模型，它有8个卷积层和3个全连接层。
• 使用ReLU激活函数：相比于传统的Sigmoid激活函数，AlexNet采用了ReLU激活函数作为神经元的非线性变换。ReLU函数计算简单且能够减轻梯度消失问题，加速了模型的训练速度
• 使用Dropout正则化：在全连接层中引入Dropout技术进行正则化。Dropout随机地将一部分神经元的输出置零，有助于减少过拟合。这使得模型的泛化能力更强，能够更好地处理未见过的数据。
• 局部响应归一化：引入局部响应归一化操作来增强模型对对比度的敏感性。它对每个神经元的输出进行归一化，通过抑制相邻通道的响应，增强了模型对于非线性特征的表示能力。
• 使用GPU进行训练：AlexNet 在训练时使用了两个GPU，加速模型的训练过程。

AlexNet相较于LeNet取得了更好的性能，主要原因包括：

• 更深的网络结构：具有更多的层数和参数量，从而能够学习更高层次、更抽象的特征表示。
• 更大的训练集：AlexNet在ImageNet数据集上进行了训练，该数据集包含了超过一百万张带有标签的高分辨率图像。
• 更引入强的正则化技术：AlexNet采用了Dropout和局部响应归一化等正则化技术，有助于减少网络的过拟合程度。
• 使用GPU进行训练：充分利用两个GPU进行训练，在计算方面获得了显著的加速。

2.激活函数作用

激活函数引入非线性转换，使神经网络能够学习和表示复杂的非线性模式

3.梯度消失现象是什么？

前面隐藏层的学习速率低于后面隐藏层的学习速率，即随着隐藏层数目的增加，分类准确率反而下降

4、神经网络是更宽好还是更深好？

需要结合实际情况，当任务更加关注局部特征时，网络结构宽些好；当任务更加关注全局特征，网络结构深些好。

5、为什么要使用Softmax?

softmax将输出的分类结果映射到（0-1）之间，将神经网络的分类结果转化成对应的概率。不同的概率，表示此样本属于对应类别的可能性大小，概率越大，样本属于该分类的可能性越大。概率的总和为1。且softmax函数便于求导。

6、SGD 和 Adam 哪个更有效？

Adam是一种常用的自适应学习率的优化算法。Adam在SGD的基础上加入了对历史梯度的考虑，同时可以自适应地调整不同参数的学习率，因此相比于SGD，Adam有更好的性能。