【YY的读书笔记】- 线性回归

线性回归（Linear Regression）形式简单，但其建模思想具有广泛的通用性。其基本思路在于给定一组由输入 $x$ 和输出 $y$ 构成的数据集 $D=\{(x_1, y_1), (x_1, y_1), ···，(x_m, y_m)\}$，采用线性的思想 $\tilde{y}=wx+b$ 来拟合输入与输出的关系，并通过反复“训练”使得拟合结果和真实结果愈加地接近，即 $\tilde{y}\ \cong y$。因此，线性回归中的关键任务就是确定参数 $w$ 和 $b$。

为了保证拟合结果 $\tilde{y}$ 和真实结果 $y$ 尽可能接近，模型训练过程中的关键内容就是监测二者间的差距。这一差距被称为损失（Loss），使用均方误差（Mean Square Error，MSE）进行度量，所以线性回归模型训练的优化目标就是使得拟合结果与真实结果之间的均方误差最小，即：

求使得均方误差最小的 $w^*$ 和 $b^*$，只需对均方差公式分别对 $w$ 和 $b$ 求一阶偏导并令导数为 $0$ 即可，就是著名的最小二乘法（Least Square Method）。

为展示求导过程，$w$ 和 $b$ 合并为参数向量形式，并将数据集 $D$ 写成矩阵形式，同时添加对应 $b$ 的输入数据：

于是得到均方误差的矩阵形式：

令$L=(\textit{\textbf{y}}-\textit{\textbf{X}}\hat{\textit{\textbf{w}}})^T(\textit{\textbf{y}}-\textit{\textbf{X}}\hat{\textit{\textbf{w}}})$，对 $\hat{\textit{\textbf{w}}}$ 求导并使之等于$0$，则有：

当 $\textit{\textbf{X}}^T\textit{\textbf{X}}$ 可逆时，即可得到目标结果：

几点说明的地方：

1. 推导过程中用到的矩阵求导公式

2. 求 $\hat{\textit{\textbf{w}}}^*$ 时假设了 $\textit{\textbf{X}}^T\textit{\textbf{X}}$ 可逆，但当其不可逆时可添加正则化项来使之可逆，即 $(\textit{\textbf{X}}^T\textit{\textbf{X}}+\lambda \textit{\textbf{I}})^{-1}\textit{\textbf{X}}^T\textit{\textbf{y}}$，$\lambda \textit{\textbf{I}}$ 即为正则化项。实际中使用最小二乘法求解回归模型情况很少，为了保证训练效率使用梯度下降法，而梯度下降法对 $\textit{\textbf{X}}^T\textit{\textbf{X}}$ 是否可逆并无要求。后面会针对正则化和梯度下降单独展开。
3. 统计学中对于线性回归的讲解包含更严格的前提条件和模型效果判断，这里暂时省略。