3.2.4 Conditional distribution 公式3.54

虽然比较简单但还是记录一下吧，光看容易忘记 我们首先找到条件分布 $p(\mathbf{x}_a | \mathbf{x}_b)$ 的表达式。根据概率的乘法规则，我们可以从联合分布 $p(\mathbf{x}) = p(\mathbf{x}_a, \mathbf{x}_b)$ 出发，通过固定 $\mathbf{x}_b$ 为观测值并归一化结果表达式来获得一个有效的概率分布。

为了更高效地得到解，可以考虑指数中的二次形式（由 (3.27) 给出），然后在计算结束时重新引入归一化系数。如果我们利用分块形式 (3.49)，(3.50)，和 (3.53)，我们得到：

我们看到，作为 $\mathbf{x}_a$ 的函数，这仍然是一个二次形式，因此对应的条件分布 $p(\mathbf{x}_a | \mathbf{x}_b)$ 将是高斯分布。因为这个分布完全由其均值和协方差表征，我们的目标将是通过检查 (3.54) 来识别 $p(\mathbf{x}_a | \mathbf{x}_b)$ 的均值和协方差的表达式。

前提知识

1. 多元高斯分布：

   $$p(\mathbf{x}) = \frac{1}{(2\pi)^{D/2} |\boldsymbol{\Sigma}|^{1/2}} \exp\left(-\frac{1}{2} (\mathbf{x} - \boldsymbol{\mu})^\mathrm{T} \boldsymbol{\Sigma}^{-1} (\mathbf{x} - \boldsymbol{\mu})\right)$$

   其中 $\mathbf{x}$ 是一个 $D$-维向量，$\boldsymbol{\mu}$ 是均值向量，$\boldsymbol{\Sigma}$ 是协方差矩阵。

2. 分块矩阵：

   $$\boldsymbol{\Sigma} = \begin{pmatrix} \boldsymbol{\Sigma}_{aa} & \boldsymbol{\Sigma}_{ab} \\ \boldsymbol{\Sigma}_{ba} & \boldsymbol{\Sigma}_{bb} \end{pmatrix}$$

   其中 $\boldsymbol{\Sigma}_{aa}$ 和 $\boldsymbol{\Sigma}_{bb}$ 分别是子向量 $\mathbf{x}_a$ 和 $\mathbf{x}_b$ 的协方差矩阵，而 $\boldsymbol{\Sigma}_{ab}$ 和 $\boldsymbol{\Sigma}_{ba}$ 是它们之间的协方差矩阵。

3. 精度矩阵：

   $$\boldsymbol{\Lambda} = \boldsymbol{\Sigma}^{-1} = \begin{pmatrix} \boldsymbol{\Lambda}_{aa} & \boldsymbol{\Lambda}_{ab} \\ \boldsymbol{\Lambda}_{ba} & \boldsymbol{\Lambda}_{bb} \end{pmatrix}$$

推导过程

1. 联合分布的二次形式

联合分布的指数部分可以写为：

2. 分块表示

将 $\mathbf{x}$ 和 $\boldsymbol{\mu}$ 分块表示：

3. 替换并展开

将上述分块矩阵代入指数部分：

4. 展开矩阵乘法

5. 最终结果

整理后得到：

这就是公式 (3.54) 的推导过程。通过这种方式，我们可以进一步分析条件分布 $p(\mathbf{x}_a | \mathbf{x}_b)$ 的均值和协方差。