首页
AI Coding
数据标注
NEW
沸点
课程
直播
活动
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
登录
注册
dcying11
掘友等级
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
0
文章 0
沸点 0
赞
0
返回
|
搜索文章
最新
热门
从 Adam 到 Adam W|关于 Weight Decay 的数学直觉
Adam 将 L2 正则并入梯度,使 weight decay 被自适应分母缩放,强度依赖历史梯度,失去稳定性;AdamW 将衰减与梯度解耦,使正则化真正一致,因此更合理。
个人成就
文章被阅读
5
掘力值
10
关注了
0
关注者
0
收藏集
0
关注标签
5
加入于
2024-10-04