1、一句话介绍逻辑回归
逻辑回归假设数据服从伯努利分布,通过极大似然函数的方法,运用梯度下降求解参数,来达到将数据二分类的方法。
2、问题1
逻辑回归的基本假设:假设数据服从伯努利分布,伯努利分布简单的例子,就是抛硬币,为正的概率为p。为负的概率为1-p


所以逻辑回归的最终公式为

2、逻辑回归的损失函数是极大似然函数

损失函数一般分为四类平方损失函数、对数损失函数、HingeLoss损失、0-1损失、绝对值损失函数。将极大似然函数取对数就相当于对数损失函数。
取对数之后得:

我们的目标就是最大化似然韩式,如果转化为损失函数,那就是最小化
损失函数

如果不会求导 可以参考这个

解释:
1、参数θ第j个分量的更新,依赖全部的样本
2、如果m取全部,也就是用全部的数据来更新分量j
3、m=1则是用一个实例来更新参数,也就是随机梯度下降。。
4、更新的量,与速率、当前实例的j分量、误差值(假设-当前)共同决定。
梯度下降的文章