【白板推导系列笔记】数学基础-概率-高斯分布-求联合概率分布

烧灯续昼2002
106 阅读1分钟

本文已参与「新人创作礼」活动，一起开启掘金创作之路。

X∼N(μ,Σ)=1(2π)p2∣Σ∣12exp(−12(x−μ)TΣ−1(x−μ))x∈Rp,r.v. \begin{gathered} X \sim N(\mu,\Sigma)=\frac{1}{(2\pi)^{\frac{p}{2}}|\Sigma|^{\frac{1}{2}}}\text{exp}\left(- \frac{1}{2}(x-\mu)^{T}\Sigma^{-1}(x-\mu)\right)\\ x \in \mathbb{R}^{p},r.v.\\ \end{gathered}

已知

p(x)=N(x∣μ,Λ−1)p(y∣x)=N(y∣Ax+b,L−1) \begin{aligned} p(x)&=N(x|\mu,\Lambda^{-1})\\ p(y|x)&=N(y|Ax+b,L^{-1}) \end{aligned}

求p(y),p(x∣y)p(y),p(x|y)

 

对于一元实值变量xx，高斯分布被定义为

N(x∣μ,σ2)=1(2πσ2)12exp[−12σ2(x−μ)2]N(x|\mu,\sigma^{2})=\frac{1}{(2\pi \sigma^{2})^{\frac{1}{2}}}\text{exp}\left[- \frac{1}{2\sigma^{2}}(x-\mu)^{2}\right]

它有两个参数控制：μ\mu，被叫做均值，以及σ2\sigma^{2}，被叫做方差

来源：《PRML Translation》-P24

作者：马春鹏

原著：《Pattern Recognition and Machine Learning》

作者：Christopher M. Bishop

 

曲线拟合问题的目标是能够根据NN个输入X=(x1,⋯ ,xN)TX=(x_{1},\cdots ,x_{N})^{T}组成的数据集和它们对应的目标值T=(t1,⋯ ,tN)TT=(t_{1},\cdots ,t_{N})^{T}，在给出输入变量xx的新值的情况下，对目标变量tt进行预测。我们可以使用概率分布来表达目标变量的值的不确定性。为了达到这个目的，我们要假定，给定xx的值，对应的tt值服从高斯分布，分布的均值为y(x,ω)y(x,\omega)，由公式

y(x,ω)=ω0+ω1x+ω2x2+⋯+ωMxM=∑j=0Mωjxjy(x,\omega)=\omega_{0}+\omega_{1}x+\omega_{2}x^{2}+\cdots +\omega_{M}x^{M}=\sum\limits_{j=0}^{M}\omega_{j}x^{j}给出，因此，我们有

p(t∣x,ω,β)=N(t∣y(x,ω),β−1)p(t|x,\omega,\beta)=N(t|y(x,\omega),\beta^{-1})

其中，为了和后续章节中的记号相同，我们定义了精度参数β\beta。它对应与分布方差的倒数，下图给出了图形化表示

![[附件/Pasted image 20220926144302.png|400]]

用图形说明了公式p(t∣x,ω,β)=N(t∣y(x,ω),β−1)p(t|x,\omega,\beta)=N(t|y(x,\omega),\beta^{-1})给出的给定xx的条件下tt的高斯条件概率分布，其中均值为多项式函数y(x,ω)y(x,\omega)，精度由参数β\beta给出，它与方差的关系为β−1=σ2\beta^{-1}=\sigma^{2}

来源：《PRML Translation》-P27

作者：马春鹏

原著：《Pattern Recognition and Machine Learning》

作者：Christopher M. Bishop

 

y=Ax+b+ϵ,ϵ∼N(0,L−1)E(y)=E(Ax+b+ϵ)=E(Ax+b)+E(ϵ)=Aμ+bVar(y)=Var(Ax+b+ϵ)=Var(Ax+b)+Var(ϵ)=A⋅Λ−1A−1+L−1 \begin{aligned} y&=Ax+b+\epsilon ,\epsilon \sim N(0,L^{-1})\\ E(y)&=E(Ax+b+\epsilon )\\ &=E(Ax+b)+E(\epsilon )\\ &=A \mu+b\\ \text{Var}(y)&=\text{Var}(Ax+b+\epsilon )\\ &=\text{Var}(Ax+b)+\text{Var}(\epsilon )\\ &=A \cdot \Lambda^{-1}A^{-1}+L^{-1} \end{aligned}

因此y∼N(Aμ+b,L−1+AΛ−1A−1)y \sim N(A \mu+b,L^{-1}+A \Lambda^{-1}A^{-1})

想求p(x∣y)p(x|y)，如果能由已知条件推出p(x,y)p(x,y)，则根据上一节xb∣xa∼N(μb−ΣbaΣaa−1μa+ΣbaΣaa−1xa,Σbb−ΣbaΣaa−1Σab)x_{b}|x_{a} \sim N(\mu_{b}-\Sigma_{ba}\Sigma_{aa}^{-1}\mu_{a}+\Sigma_{ba}\Sigma_{aa}^{-1}x_{a},\Sigma_{bb}-\Sigma_{ba}\Sigma_{aa}^{-1}\Sigma_{ab})，就可以得到p(x∣y)p(x|y)

z=(xy)∼N([μAμ+b],[Λ−1Δ Δ L−1+AΛ−1AT])Δ=Cov(x,y)=E{[x−E(x)]⋅[y−E(y)]T}=E[(x−μ)(y−Aμ−b)T]=E[(x−μ)(Ax+b+ϵ−Aμ−b)T]=E[(x−μ)(Ax−Aμ)T+(x−μ)ϵ T]=E[(x−μ)(Ax−Aμ)T]+E[(x−μ)ϵT]⏟0(x⊥ϵ)=E[(x−μ)(Ax−Aμ)T]=E[(x−μ)(x−μ)T⋅AT]=E[(x−μ)(x−μ)T]AT=Var(x)AT=Λ−1AT \begin{aligned} z&=\begin{pmatrix} x \\ y \end{pmatrix}\sim N\left(\begin{bmatrix} \mu \\ A \mu+b \end{bmatrix},\begin{bmatrix} \Lambda^{-1} & \Delta  \\ \Delta  & L^{-1}+A \Lambda^{-1}A^{T} \end{bmatrix}\right)\\ \Delta &=\text{Cov}(x,y)\\ &=E \left\{[x-E(x)]\cdot [y-E(y)]^{T}\right\}\\ &=E [(x-\mu)(y-A \mu-b)^{T}]\\ &=E[(x-\mu)(Ax+b+\epsilon -A \mu-b)^{T}]\\ &=E[(x-\mu)(Ax-A \mu)^{T}+(x-\mu)\epsilon  ^{T}]\\ &=E[(x-\mu)(Ax-A \mu)^{T}]+\underbrace{E[(x-\mu)\epsilon ^{T}]}_{0}\quad (x \bot \epsilon )\\ &=E[(x-\mu)(Ax-A \mu)^{T}]\\ &=E[(x-\mu)(x-\mu)^{T}\cdot A^{T}]\\ &=E[(x-\mu)(x-\mu)^{T}]A^{T}\\ &=\text{Var}(x)A^{T}\\ &=\Lambda^{-1}A^{T} \end{aligned}

因此(xy)∼([μAμ+b],[Λ−1Λ−1ATAΛ−1L−1+AΛ−1AT])\begin{pmatrix}x \\ y\end{pmatrix}\sim \left(\begin{bmatrix}\mu \\ A \mu+b\end{bmatrix},\begin{bmatrix}\Lambda^{-1} & \Lambda^{-1}A^{T} \\ A \Lambda^{-1} & L^{-1}+A \Lambda^{-1}A^{T}\end{bmatrix}\right)

再根据上一节xb∣xa∼N(μb−ΣbaΣaa−1μa+ΣbaΣaa−1xa,Σbb−ΣbaΣaa−1Σab)x_{b}|x_{a} \sim N(\mu_{b}-\Sigma_{ba}\Sigma_{aa}^{-1}\mu_{a}+\Sigma_{ba}\Sigma_{aa}^{-1}x_{a},\Sigma_{bb}-\Sigma_{ba}\Sigma_{aa}^{-1}\Sigma_{ab})，可得

x∣y∼(μ−Λ−1AT(L−1+AΛ−1AT)−1(y−Aμ−b),Λ−1−Λ−1AT(L−1+AΛ−1AT)−1AΛ−1) x|y \sim (\mu-\Lambda^{-1}A^{T}(L^{-1}+A \Lambda^{-1}A^{T})^{-1}(y-A \mu-b),\Lambda^{-1}-\Lambda^{-1}A^{T}(L^{-1}+A \Lambda^{-1}A^{T})^{-1}A \Lambda^{-1})
avatar
文章
阅读
粉丝