权重衰退 小菜鸡本鸡 2023-01-04 71 阅读1分钟 权重衰退 模型在训练的过程中可能过拟合,这一般是由于数据太简单,模型太复杂导致的。模型太复杂直接把每个样本都记住了,泛化能力不行。 L2 Penalty def l2_penalty(w): return torch.sum(w ** 2) / 2