在之前的文章里，我已经讲了如何用反向传播和梯度下降来训练神经网络。为了训练神经网络，其中一个需要设置的关键超参数是学习率。提醒一下，为了最小化此网络的损失函数，这个参数缩放了权重更新的幅度。 如果你把学习率设置太低，训练会进展的很慢：因为你在网络的权重上只做了很少的调整。然而，…