调参,卷积,池化,超参数

85 阅读1分钟

1.论文调参

一般是train.py 里面调参

2.ResNet

ResNet(Residual Network)是一种深度卷积神经网络,由微软亚洲研究院的何凯明等人于2015年提出。它通过引入残差学习模块解决深度神经网络训练过程中的梯度消失和梯度爆炸问题,从而使得网络可以更深,并且在训练时能够更快地收敛。

在传统的卷积神经网络中,每个卷积层都会对输入进行变换并输出一个新的特征图,这个新的特征图会被送到下一层进行处理。而在ResNet中,每个残差学习模块包含了一个跨层连接(shortcut connection),将**输入直接传递到输出,同时在两者之间增加了一些非线性变换。**这个跨层连接可以让信息直接从输入传递到输出,避免了信息在多个卷积层之间的逐层传递过程中产生的信息损失。因此,ResNet可以更深,同时也具有更好的性能和更快的训练速度。

ResNet在图像分类、物体检测、语义分割等领域取得了很好的效果,并且成为了深度学习中的一个重要里程碑。现在,ResNet已经成为了许多其他深度神经网络的基础模块,被广泛应用于各种计算机视觉任务中。

NN : nature network 神经网络

CNN :conv NN 卷积神经网络

卷积核的个数等于特征矩阵的个数

卷积变胖和特征提取,池化相对于抽样,

超参数:人工设置,不能求出来的,类似卷积核的个数,激活函数,学习率等等。