逻辑回归和梯度下降介绍

496 阅读1分钟

1、一句话介绍逻辑回归

逻辑回归假设数据服从伯努利分布,通过极大似然函数的方法,运用梯度下降求解参数,来达到将数据二分类的方法。

2、问题1

逻辑回归的基本假设:假设数据服从伯努利分布,伯努利分布简单的例子,就是抛硬币,为正的概率为p。为负的概率为1-p

逻辑回归第二个假设就是样本为征的概率为

所以逻辑回归的最终公式为

2、逻辑回归的损失函数是极大似然函数

损失函数一般分为四类平方损失函数、对数损失函数、HingeLoss损失、0-1损失、绝对值损失函数。将极大似然函数取对数就相当于对数损失函数。

取对数之后得:

我们的目标就是最大化似然韩式,如果转化为损失函数,那就是最小化

损失函数

如果不会求导 可以参考这个

解释:

1、参数θ第j个分量的更新,依赖全部的样本

2、如果m取全部,也就是用全部的数据来更新分量j

3、m=1则是用一个实例来更新参数,也就是随机梯度下降。。

4、更新的量,与速率、当前实例的j分量、误差值(假设-当前)共同决定。

梯度下降的文章

blog.csdn.net/yato0514/ar…