机器学习——线性回归

96 阅读1分钟

线性回归

是利用数理统计中回归分析来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法,运用十分广泛。
回归分析中,只包括一个自变量和一个因变量,且二者的关系可用一条直线近似表示,这种回归分析称为一元线性回归分析。
如果回归分析中包括两个或两个以上的自变量,且因变量和自变量之间是线性关系,则称为多元线性回归分析。

一、单变量线性回归

代价函数

代价函数(Cost function)也叫平方误差函数平方误差代价函数。它的作用是为我们的训练样本 (x xx,y yy) 选择θ 0 , θ 1 \theta_{0}, \theta_{1}θ0​,θ1​,使得h θ ( x ) h_{\theta}(x)hθ​(x)更接近于y yy。

image.png

线性回归的梯度下降

image.png

二、多变量线性回归

特征缩放

特征缩放(Feature scaling)是为了确保特征在一个相近的范围内, 使得算法更快收敛。可以使用均值归一化的方法实现特征缩放。

image.png

正规方程

image.png