深度学习-正则化方法总结本质与目的：正则化的本质，就是通过抑制权重的大小，让尽可能少的输入值产生作用，达到不过度依赖某一

L1-正则

J = J(\theta) + ||w||_1

参数： $||w||_1$ 指L1正则化,为权重求绝对值再求和；J为损失函数
本质: 在反向传播过程中，W绝对值求导衡为+-1，即以常量大小对权重进行缩减，结合函数可以看出，L1正则能让常量尽可能接近0
缺点: 在0处不连续，需要设定额外的值

L2-正则

J = J(\theta) + ||w||_2

参数： $||w||_2$ 指L2正则化,为权重求平方和再开根号；J为损失函数
本质: 在反向传播过程中，W平方开根号，带有w项，即根据w的大小按比例对权重进行衰减
缺点: 对异常点不鲁邦，当权重本身比较小的时候，无法起到比较好的正则作用
优点: 处处可岛，权重较大时正则作用明显

L1.5-正则

J = J(\theta) + ||w||_{1.5}

参数： $||w||_1.5$ 指L1.5正则化,当-1<=x<=1时，为L1正则，其他时候为L2正则本质:结合了L1和L2的优点