岭回归、套索回归

159 阅读1分钟

无论是单变量的线性回归还是多变量的线性回归,都有一个很强的假设。 也就是数据有相对较好的线性,基本上落在某一个所谓的超平面上才能有比较好的结果回归效果。

但是很多时候其实是没有那么好的性质,不能让我们用求解析解。

这个时候就有一种比较经典的处理方式,叫做添加正则项。

本文我们将以岭回归为例,引入正则项的使用。

首先是正则项的数学表达式:

L=λW L = \lambda \Vert W \Vert

也就是 W 的模长乘以一个系数。

具体稍后补充。