逻辑回归详解

Rcoons
517 阅读5分钟

本文已参与「新人创作礼」活动，一起开启掘金创作之路

1.简介

首先逻辑回归（Logistic Regression）是一个分类算法，它可以处理二元分类以及多元分类，是机器学习中一个非常非常常见的模型，在实际生产环境中也常常被使用，是一种经典的分类模型（不是回归模型）

2.模型构建

2.1 线性回归

为了更容易理解LR，我先说一下线性回归吧，线性回归的主要思想就是通过历史数据拟合出一条直线，用这条直线对新的数据进行预测。 对于一元的自变量：

y^=wx+b \widehat{y}= wx + b

模型参数为w,b 对于每个样本误差为：

εi=yi−yi^\varepsilon_i =y_i - \widehat{y_i}

最小误差平方和（线性回归是连续的所以可以用模型误差平方和定义损失函数）：

minw,bΣiεi2=Σi(wxi+b−yi)2{min \atop {\scriptstyle w,b}}\Sigma_i{\varepsilon_i}^2 = \Sigma_i(wx_i+b -y_i)^2

这里取最小误差平方和是因为误差有正有负，防止正负抵消影响误差判断 对于多元的自变量： 自变量可以看作是一个向量，则方程可记为（i为样本特征的数量，j为样本的数量）：

f(xi,w,,b)=∑jwjxi+b=[xi1...xij][w1⋮wj]+b=wixi+bf(x_i,w,,b) = \displaystyle\sum_{j}w_jx_i+b = [x_{i1} ...x_{ij}]\begin{bmatrix} w_1 \\ \vdots\\ w_j \end{bmatrix}+b=w_ix_i+b

因为这里的b最终会是一个常数，需要注意的是这里的w和x的维度是相同的，故上述公式可变形为：

f(xi,w,,b)=[xi1...xij][w1⋮wj]+b=[xi1...xij  1][w1⋮wjb]=wi~xi~f(x_i,w,,b) = [x_{i1} ...x_{ij}]\begin{bmatrix} w_1 \\ \vdots\\ w_j \end{bmatrix}+b=[x_{i1} ...x_{ij} \space\space1]\begin{bmatrix} w_1 \\ \vdots\\ w_j\\ b \end{bmatrix}=\widetilde{w_i}\widetilde{x_i}

这时候整个公式就可以简化为

f(xi,w)=wxif(x_i,w) = wx_i

我们只要研究参数w就可以了，我们最终的学习目标为使平方差和最小时w的值：

minwL(w)=∑i(wxi−yi)2{min \atop {\scriptstyle w}}L(w) = \sum_i(wx_i-y_i)^2

根据函数的特性，要得到最小平方差和，对w求导，导数为0的地方就是函数的最小值

dL(w)dw=[∂L(w)w1⋮∂L(w)wi]=2∑ixixiTw−2∑iyixi=2XTXw−2XTY\frac{dL(w)}{dw}=\begin{bmatrix} \frac {\partial L(w)}{w_1} \\ \vdots\\ \frac {\partial L(w)}{w_i} \end{bmatrix}=2\sum_i x_i x_i^{\scriptscriptstyle T}w-2\sum_iy_i x_i=2X^TXw-2X^TY

令其等于0，得：

w∗=(XTX)−1XTYw^*=(X^TX)^{-1}X^TY

然后利用最小二乘法（最小平方和）得到w 注：这里有个问题，如果不是可逆矩阵，我们可以给他加个常数矩阵使他可逆

w∗=(XTX+λI)−1XTYw^* = (X^TX+\lambda I)^{-1}X^TY

λ的值可以通过测试得到

2.2 逻辑回归（二元）

逻辑回归有个logit函数：

log(p/(1−p))=wxlog(p/(1-p)) =wx

下面先研究一下这个函数原理:： 对于二分类问题，最终因变量y只有两种情况，且两种情况概率加起来等于1 eg：一个事件发生概率为：p(y=1|x)，不发生概率为：p(y=0|x) 假定p(y=1|x)依赖于线性函数发f(x) = wx,但是wx值域在（-∞,+∞） 而两个概率的比值却是(0,+∞)，我们对wx进行指数变换，那么就可以得到：

p(y=1∣x)p(y=0∣x)=p(y=1∣x)1−p(y=1∣x)=ewx∈(0,+∞)       (1)\frac{p(y=1|x)}{p(y=0|x)}=\frac{p(y=1|x)}{1-p(y=1|x)}=e^{wx} ∈(0,+∞) \space\space\space\space\space\space\space(1)

则可以得到：

p(y=1∣x)=ewx1+ewx=11+e−wx       (2)p(y=1|x)=\frac{e^{wx}}{1+e^{wx}}=\frac{1}{1+e^{-wx}}\space\space\space\space\space\space\space(2)

现在我们把公式(1)两边同时进行取log运算，结果就是logit函数 而公式(2)就是我们下面要引出的sigmoid函数，也就是LR的模型

2.3 sigmoid函数

LR算法也可以看作是把线性函数的结果映射到了sigmod函数中 sigmoid函数公式及模型图：

η=11+e−t\eta=\frac{1}{1+e^{-t}}

LR模型图 则对于二分类问题类别概率为： p(y=1∣x)=η(t)=η(wx)p(y=1|x)=\eta(t)=\eta(wx)            p(y=0∣x)=1−η(t)=1−η(wx)\space\space\space\space\space\space\space\space\space\space\space p(y=0|x)=1-\eta(t)=1-\eta(wx)

3.损失函数

从前文可以看到逻辑回归并不是连续的，所以不能用模型的误差平方和定义损失函数，我们可以用极大似然推导逻辑回归的损失函数

3.1 极大似然估计

这里我先解释一下什么是极大似然估计：eg.一个袋子中有20个球，只有黑白两色，有放回的抽取十次，取出8个黑球和2个白球，计算袋子里有白球黑球各几个？ 我们假设每次取出黑球的概率为p，那么白球概率就为（1-p） 则: P=p8(1−p)2P = p^8(1-p)^2 我们可以认为是按照最大概率来抽取的样本，对p进行求导，让导数为0.即可得到黑球对应的概率。极大似然估计就是这种思想

3.2 二元逻辑回归损失函数

根据极大似然估计思想，则假设二元逻辑回归的输出只有0和1两种，则：

p(yi∣xi)=η(wxi)yi(1−η(wxi))1−yip(y_i|x_i) = \eta(wx_i)^{y_i}(1-\eta(wx_i))^{1-y_i}

为了方便求解，我们用负对数似然函数最小化： L(w)=−∑i(yi∗log(η(wxi))+(1−yi)∗log(1−η(wxi)))L(w)=-\sum_i(y_i*log(\eta(wx_i)) + (1-y_i)*log(1-\eta(wx_i)))

损失函数的本质是如果预测对了可以不惩罚，如果错了，就加大惩罚，也就是让损失函数变得较大，而-log函数在[0,1]之间正好符合这一点。另外，前面线性回归我们损失函数是用误差平方和，而LR是广义的线性回归，模型是sigmoid函数，如果也用误差平方和的话，对于sigmoid求导无法保证是凸函数，在优化过程中得到的解可能是局部的最优解不是全局的，最后，取对数之后，求导更方便

3.3 损失函数优化

求导之前我们先对sigmoid函数变形一下：

令t=wxi，则：e−t=e−wxi,那么e−wxi=1−η(wxi)η(wxi)       (3.1)令t=wx_i，则：e^{-t}=e^{-wx_i},那么e^{-wx_i}=\frac{1-\eta(wx_i)}{\eta(wx_i)}\space\space\space\space\space\space\space(3.1)

L(w)=−∑i(yi∗log(η(wxi))+(1−yi)∗log(1−η(wxi)))L(w)=-\sum_i(y_i*log(\eta(wx_i)) + (1-y_i)*log(1-\eta(wx_i)))

∇L(w)=−∑i(yi∗1η(wxi)∗η(wxi)′+(1−yi)∗11−η(wxi)∗(1−η(wxi))′)=−∑i(yi∗1η(wxi)∗η(wxi)′+(yi−1)∗11−η(wxi)∗(η(wxi))′)=−∑i((yiη(wxi)+yi−11−η(wxi))∗η(wxi)′)=−∑i(yi−η(wxi)η(wxi)(1−η(wxi))∗η(wxi)′)=−∑i(yi−η(wxi)η(wxi)(1−η(wxi))∗(11−e−wxi)′=−∑i(yi−η(wxi)η(wxi)(1−η(wxi))∗(−1(1−e−wxi)2)∗e−wxi∗(−xi)=−∑i(yi−η(wxi)η(wxi)(1−η(wxi))∗(1(1−e−wxi)2)∗e−wxi∗(xi)=−∑i(yi−η(wxi)η(wxi)(1−η(wxi))∗(η(wxi)2)∗1−η(wxi)η(wxi)∗xi=−∑i(yi−η(wxi))∗xi\begin{aligned} \nabla L(w) &=-\sum_i(y_i *\frac{1}{\eta(wx_i)}*\eta(wx_i)\rq+(1-y_i)*\frac{1}{1-\eta(wx_i)}*(1-\eta(wx_i))\rq)\\ &=-\sum_i(y_i *\frac{1}{\eta(wx_i)}*\eta(wx_i)\rq+(y_i-1)*\frac{1}{1-\eta(wx_i)}*(\eta(wx_i))\rq)\\ &=-\sum_i((\frac{y_i}{\eta(wx_i)}+\frac{y_i-1}{1-\eta(wx_i)})*\eta(wx_i)\rq)\\ &=-\sum_i(\frac{y_i-\eta(wx_i)}{\eta(wx_i)(1-\eta(wx_i))}*\eta(wx_i)\rq)\\ &=-\sum_i(\frac{y_i-\eta(wx_i)}{\eta(wx_i)(1-\eta(wx_i))}*(\frac{1}{1-e^{-wx_i}})\rq\\ &=-\sum_i(\frac{y_i-\eta(wx_i)}{\eta(wx_i)(1-\eta(wx_i))}*(-\frac{1}{(1-e^{-wx_i})^2})*e^{-wx_i}*(-x_i)\\ &=-\sum_i(\frac{y_i-\eta(wx_i)}{\eta(wx_i)(1-\eta(wx_i))}*(\frac{1}{(1-e^{-wx_i})^2})*e^{-wx_i}*(x_i)\\ &=-\sum_i(\frac{y_i-\eta(wx_i)}{\eta(wx_i)(1-\eta(wx_i))}*(\eta(wx_i)^2)*\frac{1-\eta(wx_i)}{\eta(wx_i)}*x_i\\ &=-\sum_i(y_i-\eta(wx_i))*x_i \end{aligned}

最终的结果就是我们所需要的梯度，一般我们采用梯度下降法找到最优解w，则w的每次迭代公式为： wnew=w+α∇L(w)w_{new} =w+\alpha \nabla L(w) α为梯度下降法的步长 我们在进行计算时候，会先设置个初始的w，然后当函数值变化较小时，停止

4.总结

逻辑回归尤其是二元逻辑回归是非常常见的模型，训练速度很快，虽然使用起来没有支持向量机（SVM）那么占主流，但是解决普通的分类问题是足够了，训练速度也比起SVM要快不少的。 逻辑回归的简单实战请参考我另一篇文章python实现逻辑回归二分类

avatar
文章
阅读
粉丝