cc168

本文在调参记录25的基础上，将自适应参数化ReLU中间层的神经元个数，从2个增加到4个，同时添加了一个Dropout层，继续测试其在Cifar10数据集上的效果。 最终的实验结果是95.92%。其实，在第670个epoch的时候，已经到了96.13%，最后反而降了。

在之前调参记录的基础上，首先，大幅度削减了自适应参数化ReLU中全连接神经元的个数，想着可以减轻训练的难度，也可以减少过拟合；然后，将Epoch增加到1000个，继续测试ResNet+自适应参数化ReLU激活函数在Cifar10上的效果。 相较于调参记录24，本次的测试准确率还…

本文在调参记录23的基础上，增加卷积核的个数，最少是64个，最多是256个，继续测试深度残差网络+自适应参数化ReLU激活函数在cifar10数据集上的效果。 测试准确率是95.80%，离96%还差一点。

本文在调参记录21的基础上，增加卷积核的个数，也就是增加深度神经网络的宽度，继续尝试深度残差网络+自适应参数化ReLU激活函数在Cifar10数据集上的效果。 比调参记录21的95.12%高了一点。怎么样能够突破96%呢？

本文在调参记录21的基础上，将残差模块的个数，从60个增加到120个，测试深度残差网络+自适应参数化ReLU激活函数在Cifar10数据集上的效果。 相较于调参记录21的95.12%，只提高了0.13%。

本文在调参记录20的基础上，将残差模块的个数，从27个增加到60个，继续测试深度残差网络ResNet+自适应参数化ReLU激活函数在Cifar10数据集上的表现。 自适应参数化ReLU函数被放在了残差模块的第二个卷积层之后，这与Squeeze-and-Excitation Ne…

在之前的调参记录18中，是将深度残差网络ResNet中的所有ReLU都替换成了自适应参数化ReLU（Adaptively Parametric ReLU，APReLU）。 由于APReLU的输入特征图与输出特征图的尺寸是完全一致的，所以APReLU可以被嵌入到神经网络的任意部分…

由于调参记录18依然存在过拟合，本文将自适应参数化ReLU激活函数中最后一层的神经元个数减少为1个，继续测试深度残差网络+自适应参数化ReLU激活函数在Cifar10数据集上的效果。 同时，迭代次数从调参记录18中的5000个epoch，减少到了500个epoch，因为5000…

本文将残差模块的数量增加到27个。其实之前也这样做过，现在的区别在于，自适应参数化ReLU激活函数中第一个全连接层中的神经元个数设置成了特征通道数量的1/16。 同样是在Cifar10数据集上进行测试。 测试准确率第一次突破了94%。 其实，在训练的后半阶段还是出现了过拟合，说…