详解线性分类-逻辑回归（Logistic Regression）【白板推导系列笔记】

烧灯续昼2002
72 阅读3分钟

持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第2天，点击查看活动详情

一点最大后验估计的理解，不知道该写哪，就放这里了

最大后验估计是根据经验数据获得对难以观察的量的点估计。与最大似然估计类似，但是最大的不同是，最大后验估计的融入了要估计量的先验分布在其中。故最大后验估计可以看做规则化的最大似然估计。

MAP与MLE最大区别是MAP中加入了模型参数本身的概率分布，或者说。MLE中认为模型参数本身的概率的是均匀的，即该概率为一个固定值。

举例来说：

假设有五个袋子，各袋中都有无限量的饼干(樱桃口味或柠檬口味)，已知五个袋子中两种口味的比例分别是

樱桃 100%

樱桃 75% + 柠檬 25%

樱桃 50% + 柠檬 50%

樱桃 25% + 柠檬 75%

柠檬 100%

如果只有如上所述条件，那问从同一个袋子中连续拿到2个柠檬饼干，那么这个袋子最有可能是上述五个的哪一个？

我们首先采用最大似然估计来解这个问题，写出似然函数。假设从袋子中能拿出柠檬饼干的概率为p(我们通过这个概率p来确定是从哪个袋子中拿出来的)，则似然函数可以写作

p(两个柠檬饼干∣袋子)=p2p(两个柠檬饼干|袋子)=p^{2}

由于p的取值是一个离散值，即上面描述中的0,25%，50%，75%，1。我们只需要评估一下这五个值哪个值使得似然函数最大即可，得到为袋子5。这里便是最大似然估计的结果。

上述最大似然估计有一个问题，就是没有考虑到模型本身的概率分布，下面我们扩展这个饼干的问题。

假设拿到袋子1或5的机率都是0.1，拿到2或4的机率都是0.2，拿到3的机率是0.4，那同样上述问题的答案呢？这个时候就变MAP了。我们根据公式

θ^MAP=argmax θ(x∣θ)g(θ)∫θ∈Θf(x∣θ′)g(θ′)dθ′=argmax θf(x∣θ)g(θ)\hat{\theta}_\text{MAP}=\mathop{argmax\space}\limits_{\theta}\frac{(x|\theta)g(\theta)}{\int_{\theta \in \Theta}^{}f(x|\theta')g(\theta')d \theta'}=\mathop{argmax\space}\limits_{\theta}f(x|\theta)g(\theta)

写出我们的MAP函数。

MAP=p2⋅g\text{MAP}=p^{2}\cdot g

根据题意的描述可知，p的取值分别为0,25%、50%、75%、1；g的取值分别为0.1、0.2、0.4、0.2、0.1。分别计算出MAP函数的结果为：0、0.0125、0.125、0.28125、0.1。由上可知，通过MAP估计可得结果是从第四个袋子中取得的最高。

作者：可乐LL

链接：最大后验估计(MAP) - 可乐LL - 博客园 (cnblogs.com)

 

{(xi,yi)}i=1N,xi∈Rp,yi∈{0,1} \begin{gathered} \left\{(x_{i},y_{i})\right\}_{i=1}^{N},x_{i}\in \mathbb{R}^{p},y_{i}\in \left\{0,1\right\} \end{gathered}

逻辑回归作为线性分类中的软输出，相对于硬输出，输出结果为yy为各值的概率，总体思路与硬输出是相同的，即

线性回归→线性分类ωTx→激活函数{yi={0,1}硬分类p(yi)=p∈(0,1)软分类 \begin{aligned} 线性回归 &\rightarrow 线性分类\\ \omega^{T}x&\overset{激活函数}{\rightarrow }\left\{\begin{aligned}&y_{i}=\left\{0,1\right\}&硬分类\\&p(y_{i})=p \in (0,1)&软分类\end{aligned}\right. \end{aligned}

相对于概率生成模型，逻辑回归的概率判别模型是对p(y∣x)p(y|x)直接建模

 

逻辑回归的激活函数为Sigmoid Function

σ(z)=11+e−z{z→+∞lim⁡σ(z)=1z→0σ(z)=12z→−∞lim⁡σ(z)=0 \sigma(z)=\frac{1}{1+e^{-z}}\quad \left\{\begin{aligned}&z \to +\infty&\lim\limits_{}\sigma(z)=1\\&z \to 0& \sigma(z)=\frac{1}{2}\\&z \to -\infty& \lim\limits_{}\sigma(z)=0\end{aligned}\right.

显然通过σ(z)\sigma(z)，将R→(0,1),ωTx→P\mathbb{R} \rightarrow (0,1),\omega^{T}x \rightarrow P

二项逻辑回归模型时如下的条件概率分布

p1=p(y=1∣x)=σ(ωTx)=11+e−ωTxp0=p(y=0∣x)=1−p(y=1∣x)=e−ωTx1+e−ωTxp(y∣x)=p1yp01−y \begin{aligned} p_{1}&=p(y=1|x)=\sigma(\omega^{T}x)=\frac{1}{1+e^{-\omega^{T}x}}\\ p_{0}&=p(y=0|x)=1-p(y=1|x)=\frac{e^{-\omega^{T}x}}{1+e^{-\omega^{T}x}}\\ p(y|x)&=p_{1}^{y}p_{0}^{1-y} \end{aligned}

对其中的ω\omega进行最大似然估计

ω^=argmax ωlog⁡p(Y∣X)=argmax ωlog⁡∏i=1Np(yi∣xi)=argmax ω∑i=1Nlog⁡p(yi∣xi)=argmax ω∑i=1N(yilog⁡p1+(1−yi)log⁡p0)记p1=ψ(x,ω)=argmax ω∑i=1N[yilog⁡ψ(xi,ω)+(1−yi)log⁡(1−ψ(xi,ω))] \begin{aligned} \hat{\omega}&=\mathop{argmax\space}\limits_{\omega}\log p(Y|X)\\ &=\mathop{argmax\space}\limits_{\omega}\log \prod\limits_{i=1}^{N}p(y_{i}|x_{i})\\ &=\mathop{argmax\space}\limits_{\omega}\sum\limits_{i=1}^{N}\log p(y_{i}|x_{i})\\ &=\mathop{argmax\space}\limits_{\omega}\sum\limits_{i=1}^{N}(y_{i}\log p_{1}+(1-y_{i})\log p_{0})\\ &记p_{1}=\psi(x,\omega)\\ &=\mathop{argmax\space}\limits_{\omega}\sum\limits_{i=1}^{N}[y_{i}\log \psi(x_{i},\omega)+(1-y_{i})\log(1-\psi(x_{i},\omega))] \end{aligned}

 

个人理解，先用已知数据估计出ω^\hat{\omega}，然后带回p(y=1∣x),p(y=0∣x)p(y=1|x),p(y=0|x)，然后对于新的xx，代入p(y=1∣x),p(y=0∣x)p(y=1|x),p(y=0|x)，比较大小，哪个大，就认为yy的值为哪个

avatar
文章
阅读
粉丝