dcying11

赞

0

|

搜索文章

3小时前

从 Adam 到 Adam W｜关于 Weight Decay 的数学直觉

Adam 将 L2 正则并入梯度，使 weight decay 被自适应分母缩放，强度依赖历史梯度，失去稳定性；AdamW 将衰减与梯度解耦，使正则化真正一致，因此更合理。...

0

评论

个人成就

文章被阅读 4

加入于

2024-10-04