鲅鱼饺子

赞

0

|

搜索文章

1月前

PyTorch｜BatchNorm 的两种方差

PyTorch 的 BatchNorm1d 文档中的biased estimator 和unbiased estimator...

0

评论

1月前

从 Adam 到 Adam W｜关于 Weight Decay 的数学直觉

Adam 将 L2 正则并入梯度，使 weight decay 被自适应分母缩放，强度依赖历史梯度，失去稳定性；AdamW 将衰减与梯度解耦，使正则化真正一致，因此更合理。...

0

评论

个人成就

文章被阅读 102

加入于

2024-10-04