阅读本文需要的背景知识点：矩阵求导、一丢丢编程知识
一、引言
前面介绍了两种二元分类算法——感知器算法、口袋算法，这些算法解决的都是分类的问题，但是现实中更多的是例如预测某一地区的房价、银行该给某个人多少额度的信用卡、今天应该买卖多少股票等等这种最后得到一个具体数值结果的问题，这种类型的问题在机器学习中统一被称为回归问题。线性回归 1 （Linear Regression）
二、模型介绍
在介绍模型前，我们先来看一个例子，假设有某地统计了不同工作年限人群的收入情况（模拟数据），如下表所示：
工作年限 平均月工资 1年 1598元 2年 3898元 3年 6220元 4年 7799元 5年 10510元
由上面表格中的数据可以画出每隔一年当地的平均月收入的图像：
由上图可以直观的看到这些点好像都在一条直线上或在其附近，我们根据直觉可以判断出当地的平均月收入与工作年限似乎有一定的线性关系，我们只需要找到一条直线，那么我们就能预测出当地有 6 年工资年限的人的平均月收入了。寻找这样一条直线的过程就称为线性回归分析。
定义：给定一些随机样本点 { x1, y1 }，{ x2, y2 }，...，找到一个超平面（单变量时为一条直线，两变量时为一个平面）去拟合这些样本点。线性方程如下：
y = b + w 1 x 1 + w 2 x 2 + ⋯ + w M x M = w T x \begin{array}{rcc}
y & =b+w_{1} x_{1}+w_{2} x_{2}+\cdots+w_{M} x_{M} \\
& =\quad w^{T} x
\end{array} y = b + w 1 x 1 + w 2 x 2 + ⋯ + w M x M = w T x
单变量为直线、两变量为平面、多变量为超平面
三、算法步骤
那么如何从一堆样本点中找到最佳的那个超平面呢？在上面工作年限与平均月工资的例子中，好像可以画很多直线去拟合这些点。
就像上面两条直线一样，哪条直线直观上拟合的更好呢？应该可以通过图中虚线看到，每个样本点与直线 B 的距离相对直线 A 来说要远，直线 A 明显是比直线 B 拟合的更好的，这说明可以通过样本点与直线的距离来判断拟合的好坏情况。
Cost ( w ) = ∑ i = 1 N ∣ w T x i − y i ∣ \operatorname{Cost}(w)=\sum_{i=1}^{N}\left|w^{T} x_{i}-y_{i}\right| Cost ( w ) = i = 1 ∑ N ∣ ∣ w T x i − y i ∣ ∣ 由于函数中存在绝对值，将其改写成平方的形式，这在几何中被称为欧几里得距离 2 。
Cost ( w ) = ∑ i = 1 N ( w T x i − y i ) 2 \operatorname{Cost}(w)=\sum_{i=1}^{N}\left(w^{T} x_{i}-y_{i}\right)^{2} Cost ( w ) = i = 1 ∑ N ( w T x i − y i ) 2 直观上我们只需要让代价函数的值最小，也就是所有样本点到超平面的欧几里得距离之和最小，其对应的 w 则为这个超平面的权重系数。
w = argmin w ( ∑ i = 1 N ( w T x i − y i ) 2 ) w=\underset{w}{\operatorname{argmin}}\left(\sum_{i=1}^{N}\left(w^{T} x_{i}-y_{i}\right)^{2}\right) w = w argmin ( i = 1 ∑ N ( w T x i − y i ) 2 ) argmin3 函数表示当括号内的函数方程值最小时返回此时的变量
基于上面函数的最小化来进行求解的方法被称为最小二乘法，由于代价函数是一个凸函数 4 ，根据凸函数的性质可知其局部最小值即全局最小值，可以直接求得 w 的最佳解析解，其中 X 为 N x M 矩阵，y 为 N 维列向量：
w = ( X T X ) − 1 X T y w=\left(X^{T} X\right)^{-1} X^{T} y w = ( X T X ) − 1 X T y X = [ x 1 T x 2 T ⋮ x N T ] = [ X 11 X 12 ⋯ X 1 M X 21 X 22 ⋯ X 2 M ⋮ ⋮ ⋱ ⋮ X N 1 X N 2 ⋯ X N M ] y = ( y 1 y 2 ⋮ y N ) X=\left[\begin{array}{c}
x_{1}^{T} \\
x_{2}^{T} \\
\vdots \\
x_{N}^{T}
\end{array}\right]=\left[\begin{array}{cccc}
X_{11} & X_{12} & \cdots & X_{1 M} \\
X_{21} & X_{22} & \cdots & X_{2 M} \\
\vdots & \vdots & \ddots & \vdots \\
X_{N 1} & X_{N 2} & \cdots & X_{N M}
\end{array}\right]
\quad
y=\left(\begin{array}{c}
y_{1} \\
y_{2} \\
\vdots \\
y_{N}
\end{array}\right) X = ⎣ ⎡ x 1 T x 2 T ⋮ x N T ⎦ ⎤ = ⎣ ⎡ X 11 X 21 ⋮ X N 1 X 12 X 22 ⋮ X N 2 ⋯ ⋯ ⋱ ⋯ X 1 M X 2 M ⋮ X NM ⎦ ⎤ y = ⎝ ⎛ y 1 y 2 ⋮ y N ⎠ ⎞ 四、原理证明
线性回归代价函数为凸函数
f ( x 1 + x 2 2 ) ≤ f ( x 1 ) + f ( x 2 ) 2 f\left(\frac{x_{1}+x_{2}}{2}\right) \leq \frac{f\left(x_{1}\right)+f\left(x_{2}\right)}{2} f ( 2 x 1 + x 2 ) ≤ 2 f ( x 1 ) + f ( x 2 ) 不等式左边：
Cost ( w 1 + w 2 2 ) = ∑ i = 1 N [ ( w 1 + w 2 2 ) T x i − y i ] 2 \operatorname{Cost}\left(\frac{w_{1}+w_{2}}{2}\right)=\sum_{i=1}^{N}\left[\left(\frac{w_{1}+w_{2}}{2}\right)^{T} x_{i}-y_{i}\right]^{2} Cost ( 2 w 1 + w 2 ) = i = 1 ∑ N [ ( 2 w 1 + w 2 ) T x i − y i ] 2 不等式右边：
Cost ( w 1 ) + Cost ( w 2 ) 2 = ∑ i = 1 N ( w 1 T x i − y i ) 2 + ∑ i = 1 N ( w 2 T x i − y i ) 2 2 \frac{\operatorname{Cost}\left(w_{1}\right)+\operatorname{Cost}\left(w_{2}\right)}{2}=\frac{\sum_{i=1}^{N}\left(w_{1}^{T} x_{i}-y_{i}\right)^{2}+\sum_{i=1}^{N}\left(w_{2}^{T} x_{i}-y_{i}\right)^{2}}{2} 2 Cost ( w 1 ) + Cost ( w 2 ) = 2 ∑ i = 1 N ( w 1 T x i − y i ) 2 + ∑ i = 1 N ( w 2 T x i − y i ) 2 （1）不等式左边乘以 2
2 Cost ( w 1 + w 2 2 ) = 2 ∑ i = 1 N [ ( w 1 + w 2 2 ) T x i − y i ] 2 ( 1 ) = ∑ i = 1 N 2 ( w 1 T x i 2 + w 2 T x i 2 − y i ) 2 ( 2 ) = ∑ i = 1 N ( w 1 T x i x i T w 1 2 + w 2 T x i x i T w 2 2 + w 1 T x i w 2 T x i − 2 w 1 T x i y i − 2 w 2 T x i y i + 2 y i 2 ) ( 3 ) \begin{aligned}
2 \operatorname{Cost}\left(\frac{w_{1}+w_{2}}{2}\right) &=2 \sum_{i=1}^{N}\left[\left(\frac{w_{1}+w_{2}}{2}\right)^{T} x_{i}-y_{i}\right]^{2} & (1) \\
&=\sum_{i=1}^{N} 2\left(\frac{w_{1}^{T} x_{i}}{2}+\frac{w_{2}^{T} x_{i}}{2}-y_{i}\right)^{2} & (2) \\
&=\sum_{i=1}^{N}\left(\frac{w_{1}^{T} x_{i} x_{i}^{T} w_{1}}{2}+\frac{w_{2}^{T} x_{i} x_{i}^{T} w_{2}}{2}+w_{1}^{T} x_{i} w_{2}^{T} x_{i}-2 w_{1}^{T} x_{i} y_{i}-2 w_{2}^{T} x_{i} y_{i}+2 y_{i}^{2}\right) & (3)
\end{aligned} 2 Cost ( 2 w 1 + w 2 ) = 2 i = 1 ∑ N [ ( 2 w 1 + w 2 ) T x i − y i ] 2 = i = 1 ∑ N 2 ( 2 w 1 T x i + 2 w 2 T x i − y i ) 2 = i = 1 ∑ N ( 2 w 1 T x i x i T w 1 + 2 w 2 T x i x i T w 2 + w 1 T x i w 2 T x i − 2 w 1 T x i y i − 2 w 2 T x i y i + 2 y i 2 ) ( 1 ) ( 2 ) ( 3 ) （1）不等式右边也乘以 2
Cost ( w 1 ) + Cost ( w 2 ) = ∑ i = 1 N ( w 1 T x i − y i ) 2 + ∑ i = 1 N ( w 2 T x i − y i ) 2 ( 1 ) = ∑ i = 1 N [ ( w 1 T x i − y i ) 2 + ( w 2 T x i − y i ) 2 ] ( 2 ) = ∑ i = 1 N ( w 1 T x i x i T w 1 − 2 w 1 T x i y i 2 + y i 2 + w 2 T x i x i T w 2 − 2 w 2 T x i y i + y i 2 ) ( 3 ) = ∑ i = 1 N ( w 1 T x i x i T w 1 + w 2 T x i x i T w 2 − 2 w 1 T x i y i − 2 w 2 T x i y i + 2 y i 2 ) ( 4 ) \begin{aligned}
\operatorname{Cost}\left(w_{1}\right)+\operatorname{Cost}\left(w_{2}\right) &=\sum_{i=1}^{N}\left(w_{1}^{T} x_{i}-y_{i}\right)^{2}+\sum_{i=1}^{N}\left(w_{2}^{T} x_{i}-y_{i}\right)^{2} & (1) \\
&=\sum_{i=1}^{N}\left[\left(w_{1}^{T} x_{i}-y_{i}\right)^{2}+\left(w_{2}^{T} x_{i}-y_{i}\right)^{2}\right] & (2)\\
&=\sum_{i=1}^{N}\left(w_{1}^{T} x_{i} x_{i}^{T} w_{1}-2 w_{1}^{T} x_{i} y_{i}^{2}+y_{i}^{2}+w_{2}^{T} x_{i} x_{i}^{T} w_{2}-2 w_{2}^{T} x_{i} y_{i}+y_{i}^{2}\right) & (3)\\
&=\sum_{i=1}^{N}\left(w_{1}^{T} x_{i} x_{i}^{T} w_{1}+w_{2}^{T} x_{i} x_{i}^{T} w_{2}-2 w_{1}^{T} x_{i} y_{i}-2 w_{2}^{T} x_{i} y_{i}+2 y_{i}^{2}\right) & (4)
\end{aligned} Cost ( w 1 ) + Cost ( w 2 ) = i = 1 ∑ N ( w 1 T x i − y i ) 2 + i = 1 ∑ N ( w 2 T x i − y i ) 2 = i = 1 ∑ N [ ( w 1 T x i − y i ) 2 + ( w 2 T x i − y i ) 2 ] = i = 1 ∑ N ( w 1 T x i x i T w 1 − 2 w 1 T x i y i 2 + y i 2 + w 2 T x i x i T w 2 − 2 w 2 T x i y i + y i 2 ) = i = 1 ∑ N ( w 1 T x i x i T w 1 + w 2 T x i x i T w 2 − 2 w 1 T x i y i − 2 w 2 T x i y i + 2 y i 2 ) ( 1 ) ( 2 ) ( 3 ) ( 4 ) 将不等式右边的项减去不等式左边的项，将得到的差值记为Δ，现在只需要证明这两项的差值大于等于零。
Δ = ∑ i = 1 N ( w 1 T x i x i T w 1 2 + w 2 T x i x i T w 2 2 − w 1 T x i w 2 T x i ) ( 1 ) = 1 2 ∑ i = 1 N ( w 1 T x i x i T w 1 + w 2 T x i x i T w 2 − 2 w 1 T x i w 2 T x i ) ( 2 ) = 1 2 ∑ i = 1 N ( w 1 T x i − w 2 T x i ) 2 ( 3 ) \begin{aligned}
\Delta &=\sum_{i=1}^{N}\left(\frac{w_{1}^{T} x_{i} x_{i}^{T} w_{1}}{2}+\frac{w_{2}^{T} x_{i} x_{i}^{T} w_{2}}{2}-w_{1}^{T} x_{i} w_{2}^{T} x_{i}\right) & (1) \\
&=\frac{1}{2} \sum_{i=1}^{N}\left(w_{1}^{T} x_{i} x_{i}^{T} w_{1}+w_{2}^{T} x_{i} x_{i}^{T} w_{2}-2 w_{1}^{T} x_{i} w_{2}^{T} x_{i}\right) & (2) \\
&=\frac{1}{2} \sum_{i=1}^{N}\left(w_{1}^{T} x_{i}-w_{2}^{T} x_{i}\right)^{2} & (3)
\end{aligned} Δ = i = 1 ∑ N ( 2 w 1 T x i x i T w 1 + 2 w 2 T x i x i T w 2 − w 1 T x i w 2 T x i ) = 2 1 i = 1 ∑ N ( w 1 T x i x i T w 1 + w 2 T x i x i T w 2 − 2 w 1 T x i w 2 T x i ) = 2 1 i = 1 ∑ N ( w 1 T x i − w 2 T x i ) 2 ( 1 ) ( 2 ) ( 3 ) 不等式右边减去不等式左边的差值为平方式的连加运算，在实数范围内其最后的结果必然是大于等于零，证毕。
线性回归代价函数的解析解
Cost ( w ) = ∑ i = 1 N ( w T x i − y i ) 2 ( 1 ) = ( w T x 1 − y 1 … w T x N − y N ) ( w T x 1 − y 1 ⋯ w T x N − y N ) ( 2 ) = A A T ( 3 ) \begin{aligned}
\operatorname{Cost}(w) &=\sum_{i=1}^{N}\left(w^{T} x_{i}-y_{i}\right)^{2} & (1)\\
&=\left(w^{T} x_{1}-y_{1} \ldots w^{T} x_{N}-y_{N}\right)\left(\begin{array}{c}
w^{T} x_{1}-y_{1} \\
\cdots \\
w^{T} x_{N}-y_{N}
\end{array}\right) & (2)\\
&=\quad A A^{T} & (3)
\end{aligned} Cost ( w ) = i = 1 ∑ N ( w T x i − y i ) 2 = ( w T x 1 − y 1 … w T x N − y N ) ⎝ ⎛ w T x 1 − y 1 ⋯ w T x N − y N ⎠ ⎞ = A A T ( 1 ) ( 2 ) ( 3 ) （1）向量 A 的定义
A = ( w T x 1 − y 1 … w T x N − y N ) ( 1 ) = ( w T x 1 … w T x N ) − ( y 1 … y N ) ( 2 ) = w T ( x 1 … x N ) − ( y 1 … y N ) ( 3 ) = w T X T − y T ( 4 ) \begin{aligned}
A &=\left(w^{T} x_{1}-y_{1} \ldots w^{T} x_{N}-y_{N}\right) & (1)\\
&=\left(w^{T} x_{1} \ldots w^{T} x_{N}\right)-\left(y_{1} \ldots y_{N}\right) & (2) \\
&=w^{T}\left(x_{1} \ldots x_{N}\right)-\left(y_{1} \ldots y_{N}\right) & (3) \\
&=\quad w^{T} X^{T}-y^{T} & (4)
\end{aligned} A = ( w T x 1 − y 1 … w T x N − y N ) = ( w T x 1 … w T x N ) − ( y 1 … y N ) = w T ( x 1 … x N ) − ( y 1 … y N ) = w T X T − y T ( 1 ) ( 2 ) ( 3 ) ( 4 ) （1）代价函数写成两个向量的点积的形式转置的性质 5 ，可以将后面的转置改写
Cost ( w ) = A A T ( 1 ) = ( w T X T − y T ) ( w T X T − y T ) T ( 2 ) = ( w T X T − y T ) ( X w − y ) ( 3 ) = w T X T X w − w T X T y − y T X w + y T y ( 4 ) = w T X T X w − 2 w T X T y + y T y ( 5 ) \begin{aligned}
\operatorname{Cost}(w) &=A A^{T} & (1)\\
&= \left(w^{T} X^{T}-y^{T}\right)\left(w^{T} X^{T}-y^{T}\right)^{T} & (2) \\
&= \left(w^{T} X^{T}-y^{T}\right)(X w-y) & (3) \\
&= w^{T} X^{T} X w-w^{T} X^{T} y-y^{T} X w+y^{T} y & (4) \\
&= w^{T} X^{T} X w-2 w^{T} X^{T} y+y^{T} y & (5)
\end{aligned} Cost ( w ) = A A T = ( w T X T − y T ) ( w T X T − y T ) T = ( w T X T − y T ) ( Xw − y ) = w T X T Xw − w T X T y − y T Xw + y T y = w T X T Xw − 2 w T X T y + y T y ( 1 ) ( 2 ) ( 3 ) ( 4 ) ( 5 ) （1）代价函数对 w 求偏导数，根据向量求导公式，只有第一项和第二项与 w 有关，最后一项为常数，又因为代价函数是个凸函数，当对 W 的偏导数为 0 向量时，代价函数为最小值。
∂ Cost ( w ) ∂ w = 2 X T X w − 2 X T y = 0 ( 1 ) w = ( X T X ) − 1 X T y ( 2 ) \begin{aligned}
\frac{\partial \operatorname{Cost}(w)}{\partial w} &=2 X^{T} X w-2 X^{T} y=0 & (1)\\
w &=\left(X^{T} X\right)^{-1} X^{T} y & (2)
\end{aligned} ∂ w ∂ Cost ( w ) w = 2 X T Xw − 2 X T y = 0 = ( X T X ) − 1 X T y ( 1 ) ( 2 ) 这样就求出了 w 的解析解，可以看到其中需要求一个矩阵的逆矩阵，当括号内 N x N 矩阵不是满秩矩阵 6 时没有逆矩阵，其本质是自变量 x 之间存在多重共线性 7 （Multicollinearity），下一节将介绍线性回归中的多重共线性与如何解决这种多重共线性的问题。下式中 y 向量前面的部分被称为矩阵 X 的伪逆矩阵，可以通过奇异值分解 8 （SVD）求得矩阵的伪逆矩阵。
w = ( X T X ) − 1 X T ⏟ X + y w=\underbrace{\left(X^{T} X\right)^{-1} X^{T}}_{X^{+}} y w = X + ( X T X ) − 1 X T y 可以看到 X 为 N x M 矩阵，y 为 N 维列向量。在上面工作年限与平均月工资的例子中，X 为 一个 5 x 2 的矩阵，y为一个 5 维列向量，最后可以算得 w 为 一个 2 维列向量，则这个例子的线性方程为 y = 2172.5 * x - 512.5。
X = [ 1 1 1 2 1 3 1 4 1 5 ] y = ( 1598 3898 6220 7799 10510 ) X = \begin{bmatrix}
1 & 1\\
1 & 2\\
1 & 3\\
1 & 4\\
1 & 5
\end{bmatrix}
\quad
y = \begin{pmatrix}
1598\\
3898\\
6220\\
7799\\
10510
\end{pmatrix} X = ⎣ ⎡ 1 1 1 1 1 1 2 3 4 5 ⎦ ⎤ y = ⎝ ⎛ 1598 3898 6220 7799 10510 ⎠ ⎞ w = ( X T X ) − 1 X T y = ( − 512.5 2172.5 ) w=\left(X^{T} X\right)^{-1} X^{T} y=\left(\begin{array}{c}
-512.5 \\
2172.5
\end{array}\right) w = ( X T X ) − 1 X T y = ( − 512.5 2172.5 ) 线性回归代价函数解析解的几何解释
先来看下图，由 M 个黑色 N 维列向量 X 组成了灰色超平面 S，红色 N 维列向量 y 为实际样本点的 y 值，在工作年限与平均月工资的例子中 x1 = (1, 1, 1, 1, 1)、x2 = (1, 2, 3, 4, 5)、y = (1598, 3898, 6220, 7799, 10510)。现在要找由向量 x 经过线性组合后的 y' ，使得 y - y' 最小，也就是图中紫色的向量。由图中可以看出，当 y - y' 是超平面的法向量时最短，也等价于 y - y' 与每一个向量 x 垂直。
几何解释
（1） y - y' 与每一个向量 x 垂直，注意结果为 M 维零向量
X T ( y − y ′ ) = 0 ( 1 ) X T ( y − X w ) = 0 ( 2 ) X T y − X T X w = 0 ( 3 ) w = ( X T X ) − 1 X T y ( 4 ) \begin{array}{l}
X^{T}\left(y-y^{\prime}\right)=0 & (1) \\
X^{T}(y-X w)=0 & (2)\\
X^{T} y-X^{T} X w=0 & (3) \\
w=\left(X^{T} X\right)^{-1} X^{T} y & (4)
\end{array} X T ( y − y ′ ) = 0 X T ( y − Xw ) = 0 X T y − X T Xw = 0 w = ( X T X ) − 1 X T y ( 1 ) ( 2 ) ( 3 ) ( 4 ) 可以看到几何解释与通过求导的方式的结果是一致的
五、代码实现
使用 Python 实现线性回归算法：
def linear (X, y ):
"""
线性回归
args:
X - 训练数据集
y - 目标标签值
return:
w - 权重系数
"""
return np.linalg.pinv(X).dot(y)
六、第三方库实现
scikit-learn 9 实现：
from sklearn.linear_model import LinearRegression
lin = LinearRegression(fit_intercept=False )
lin.fit(X, y)
w = lin.coef_
七、动画演示
当线性方程取不同权重系数时，其对应的代价函数的变化，可以看到代价函数是先减小到一个最小值后然后逐渐增大。
八、思维导图
九、参考文献
en.wikipedia.org/wiki/Linear… en.wikipedia.org/wiki/Euclid… en.wikipedia.org/wiki/Arg_ma… en.wikipedia.org/wiki/Convex… en.wikipedia.org/wiki/Transp… en.wikipedia.org/wiki/Rank_(… en.wikipedia.org/wiki/Multic… en.wikipedia.org/wiki/Singul… scikit-learn.org/stable/modu…
完整演示请点击这里
注：本文力求准确并通俗易懂，但由于笔者也是初学者，水平有限，如文中存在错误或遗漏之处，恳请读者通过留言的方式批评指正
AI导图
