权重衰退

71 阅读1分钟

权重衰退

模型在训练的过程中可能过拟合,这一般是由于数据太简单,模型太复杂导致的。模型太复杂直接把每个样本都记住了,泛化能力不行。

截屏2023-01-04 上午11.10.29.png

截屏2023-01-04 上午11.10.47.png

L2 Penalty

def l2_penalty(w):
    return torch.sum(w ** 2) / 2