什么是线性回归模型?
输入一组输入变量x,通过线性回归模型对其进行线性组合,可以计算出输出变量y。
如何构造线性回归模型?
线性回归模型的构造,就是需要确定公式中的ω矩阵以及偏移量b。而确定ω、b的方式,就是通过代入已知的数据点(x,y),来不断计算更新ω、b,也就是一个训练的过程。
如何评估模型训练的效果?
通过损失函数来评估模型训练效果。损失函数越小,说明模型训练的越精确。
在线性回归模型中,一般使用最小二乘法(least square method)来计算损失函数。
最小二乘法
主要思想就是计算理论值与观测值之差的平方和,如果这个平方和在不同的ω、b的取值下达到了更小(损失函数更小),那么认为模型训练出的ω、b是更为精确的。
最小二乘参数估计
现在我们要将损失函数最小化,也就是在已知几个样本点(x,y)的情况下,求解出能够使损失函数值取得最小的ω、b的值。
将损失函数视作是关于ω、b的函数,分别对ω、b求偏导数,再令偏导数为0,可以将偏导数为0的点视作取到最小值的点,这时可以求解ω、b的值。
参考资料
[1]尚硅谷机器学习和推荐系统项目实战教程:www.bilibili.com/video/BV1R
知乎:Rosydawn