每天3分钟，彻底弄懂神经网络的优化器（八）RMSprop

LearnLLM_AI
284 阅读2分钟

1. RMSprop算法的提出

RMSProp（Root Mean Square Propagation）算法由 Geoffrey Hinton 在他的 Coursera 课程《Neural Networks for Machine Learning》1中提出，该课程首次发布于2012年。RMSProp 算法是一种自适应学习率的优化方法，它通过使用梯度的平方的指数移动平均值来调整每个参数的学习率，从而加快学习速度并减少训练过程中的震荡。这种方法特别适合处理非凸优化问题，并且在深度学习中得到了广泛的应用。

2. RMSprop算法的原理

RMSprop（Root Mean Square Propagation）是一种自适应学习率的优化算法，它是为了解决Adagrad算法中学习率递减导致的问题而提出的。RMSprop通过使用指数加权移动平均来调整每个参数的学习率，使得学习率的调整更加平滑。

RMSprop的更新规则如下：

  1. 初始化参数 θ\theta，设置学习率 η\eta，衰减系数 ρ\rho（通常设为0.9），以及数值稳定性的小常数 ϵ\epsilon（通常设为 1e−81e-8 ）；
  2. 在每次迭代中，计算参数 θ\theta 的梯度 gg ；
  3. 更新累积平方梯度的指数加权移动平均 rr ： r=ρ⋅r+(1−ρ)⋅g2r = \rho \cdot r + (1 - \rho) \cdot g^2
  4. 计算参数更新量： Δθ=ηr+ϵ⋅g\Delta\theta = \frac{\eta}{\sqrt{r + \epsilon}} \cdot g
  5. 更新参数 θ\theta： θ=θ−Δθ\theta = \theta - \Delta\theta

3. RMSprop算法的主要特点

RMSprop算法的优点包括：

  • 自适应学习率调整，不需要手动设置学习率;
  • 适合处理非平稳目标函数和循环神经网络（RNN）;
  • 可以缓解梯度消失或梯度爆炸的问题

RMSprop算法的缺点包括：

  • 需要调整新的超参数——衰减速率 ρ\rho;
  • 依然依赖于全局学习速率 eta eta，如果设置不当，可能会导致模型训练效果不佳。

在实际应用中，建议从较小的全局学习速率开始尝试，并逐步增加以找到最佳性能。同时，可以尝试不同的衰减速率 ρ\rho 以找到最适合模型的设置。

4. RMSprop和AdaGrad的区别

最大的改进在于累积梯度的处理方式:

  • AdaGrad: 累积所有过去的梯度平方（无遗忘因子）。这意味着它会不断地累积梯度信息，导致学习率随着时间逐渐减小，可能在后期变得过小，以至于无法继续有效更新；

  • RMSprop: 使用指数加权平均来累积过去的梯度平方（有遗忘因子）。这种方式使得算法对最近的梯度给予更多的权重，而对旧的梯度逐渐“遗忘”，从而避免了学习率过快减小的问题。

0.png

参考

[1] Neural Networks for Machine Learning

欢迎关注我的GitHub和微信公众号，来不及解释了，快上船！

GitHub: LLMForEverybody

仓库上有原始的Markdown文件，完全开源，欢迎大家Star和Fork！

公众号：真-忒修斯之船

avatar
文章
阅读
粉丝