线性回归模型的局限

线性模型不输出概率，而是将类视为数字（0和1），并拟合使点与超平面之间的距离最小化的最佳超平面（对于单个特征，则是一条直线）。所以它只是在点之间插值，不能把它解释为概率。

由于预测结果不是概率，而是点之间的线性插值，因此没有可以用于区分一类与另一类的有意义的阈值。

逻辑回归模型

逻辑回归模型不是拟合直线或超平面，而是使用逻辑函数来得到值为 $[0,1]$ 的线性方程的输出。

逻辑函数定义为：

\text{logistic}(\eta)=\frac{1}{1+exp(-\eta)}

回顾一下线性回归模型，它用线性方程对结果和特征之间的关系进行建模：

y=\beta_{0}+\beta_{1}x_{1}+\ldots+\beta_{p}x_{p}+\epsilon

对于逻辑回归模型，我们希望得到值为 $[0,1]$ 的线性方程的输出，因此可以将等式的右侧包装到逻辑函数中：

P(y=1)=\frac{1}{1+exp(-(\beta_{0}+\beta_{1}x_{1}+\ldots+\beta_{p}x_{p}))}

逻辑回归中权重的解释不同于线性回归中权重的解释，因为逻辑回归中的结果是值为 $[0,1]$ 的概率，权重不再线性影响概率。

因此，我们需要重新制定用于解释的方程，以便只有线性项位于公式的右侧。

log\left(\frac{P(y=1)}{1-P(y=1)}\right)=log\left(\frac{P(y=1)}{P(y=0)}\right)=\beta_{0}+\beta_{1}x_{1}+\ldots+\beta_{p}x_{p} \\ \frac{P(y=1)}{1-P(y=1)}=exp\left(\beta_{0}+\beta_{1}x_{1}+\ldots+\beta_{p}x_{p}\right)

当某个特征值增加 1 的时候，预测值变化为：

\frac{exp\left(\beta_{0}+\beta_{1}x_{1}+\ldots+\beta_{j}(x_{j}+1)+\ldots+\beta_{p}x_{p}\right)}{exp\left(\beta_{0}+\beta_{1}x_{1}+\ldots+\beta_{j}x_{j}+\ldots+\beta_{p}x_{p}\right)}

由于 $\frac{exp(a)}{exp(b)}=exp(a-b)$ ，所以上面的式子等于：

exp\left(\beta_{j}(x_{j}+1)-\beta_{j}x_{j}\right)=exp\left(\beta_j\right)

所以，当特征值发生一个单位的变化时，会以权重的对数比增加相应权重的值。

这也是逻辑回归模型的一个缺点，它的解释更困难，因为权重的解释是乘法而不是加法。

逻辑回归模型不仅是一个分类模型，而且还提供了概率。与只能提供最终分类结果的模型相比，这是一个很大的优势。