什么是线性回归

之前所讲的模型全部都是离散的分类模型，但是实际应用中有很多模型是用来预测连续值的，被称为回归模型。在回归模型中，最简单的一类便是线性回归。即在公式

\min_f L(f,y)

f 取线性函数 $\omega^{T}x+b$ 。

线性回归是有监督的，判别式的参数模型。

核心公式

当我们使用L2求距离时

\min _f \sum_{i=1}^N\left\|\omega^{T}x_i+b-y_i\right\|^2+ \lambda\left\|\omega \right\|^2

求得解析解为

\begin{aligned} & \widehat{\boldsymbol{w}}=\left(\tilde{\boldsymbol{X}}^T \tilde{\boldsymbol{X}}+\lambda n \boldsymbol{I}\right)^{-1} \tilde{\boldsymbol{X}}^T \tilde{\boldsymbol{y}} \\ & \widehat{b}=\bar{y}-\widehat{\boldsymbol{w}}^T \overline{\boldsymbol{x}} \end{aligned}

当然也可以用迭代法求解。

假设

J(\theta) =\sum_i^n J_i(\theta)

其中 $J_i(\theta)$ 仅与 $x_i,y_i$ 有关，则

Initialize $\boldsymbol{\theta}_0$ , set $t=0$

For $j=1, \ldots$ , max_iter

For $i=1, \ldots, n$ in random order

\begin{aligned} & \boldsymbol{\theta}_t \leftarrow \boldsymbol{\theta}_{t-1}-\alpha_j \nabla J_i\left(\boldsymbol{\theta}_{t-1}\right) \\ & t \leftarrow t+1 \end{aligned}

End

If convergence condition satisfied, exit

End