机器学习(四):Logistic回归算法

61 阅读1分钟

此算法是用来解决“分类问题”的算法

一,Logistic函数理解

在数学中,有一种函数叫作Logistic函数,如下所示 Logistic曲线函数

数学表达式如下:

在对x逐渐放大时,会出现以下情况

而如果我们要做一个二分类任务的时候,它的图像应该是如下描绘的

完全符合的函数叫作单位阶跃函数,但是在0点位置不适合求导,所以我们采取Logistic函数

二,Logistic回归算法理解

1,假设函数

使用的线性函数替换的x,H(x)图像呈现s形分布,能够预测出离散的输出结果

2,损失函数

推导过程可用最大似然去推导,不再详细推导。理解就记住y要么为0要么为1,所以损失值就是-1、0、1,符合式子逻辑即可

3,优化方法

因为Logistic回归是一个最大化似然估计问题,所以通常采用梯度上升法进行优化 公式如下: