3.2.6 Bayes’ theorem 公式3.95，3.96 不对先作废

from which we can immediately conclude that the covariance (inverse precision) of $p(\mathbf{x}_{a}|\mathbf{x}_{b})$ is given by

$$\Sigma_{a|b} = \Lambda_{aa}^{-1}. \tag{3.57}$$

Now consider all the terms in (3.54) that are linear in $\mathbf{x}_{a}$:

$$\mathbf{x}_{a}^{\mathrm{T}}\{\Lambda_{aa}\mu_{a} - \Lambda_{ab}(\mathbf{x}_{b} - \mu_{b})\} \tag{3.58}$$

where we have used $\Lambda_{ba}^{\mathrm{T}} = \Lambda_{ab}$. From our discussion of the general form (3.55), the coefficient of $\mathbf{x}_{a}$ in this expression must equal $\Sigma_{a|b}^{-1}\mu_{a|b}$ and, hence,

$$\mu_{a|b} = \Sigma_{a|b}\{\Lambda_{aa}\mu_{a} - \Lambda_{ab}(\mathbf{x}_{b} - \mu_{b})\} = \mu_{a} - \Lambda_{aa}^{-1}\Lambda_{ab}(\mathbf{x}_{b} - \mu_{b}) \tag{3.59}$$

The covariance matrix is found by taking the inverse of the precision, which can be done using the matrix inversion formula (3.60) to give

$$\text{cov}[\mathbf{z}] = \mathbf{R}^{-1} = \begin{pmatrix} \mathbf{\Lambda}^{-1} & \mathbf{\Lambda}^{-1}\mathbf{A}^{\mathrm{T}} \\ \mathbf{A}\mathbf{\Lambda}^{-1} & \mathbf{L}^{-1}+\mathbf{A}\mathbf{\Lambda}^{-1}\mathbf{A}^{\mathrm{T}} \end{pmatrix}. \tag{3.89}$$

Similarly, we can find the mean of the Gaussian distribution over $\mathbf{z}$ by identifying the linear terms in (3.86), which are given by

$$\mathbf{x}^{\mathrm{T}}\mathbf{\Lambda}\mathbf{\mu} - \mathbf{x}^{\mathrm{T}} \mathbf{A}^{\mathrm{T}}\mathbf{Lb} + \mathbf{y}^{\mathrm{T}}\mathbf{Lb} = \begin{pmatrix} \mathbf{x} \\ \mathbf{y} \end{pmatrix}^{\mathrm{T}}\begin{pmatrix} \mathbf{\Lambda}\mathbf{\mu} - \mathbf{A}^{\mathrm{T}}\mathbf{Lb} \\ \mathbf{Lb} \end{pmatrix}. \tag{3.90}$$

Using our earlier result (3.55) obtained by completing the square over the quadratic form of a multivariate Gaussian, we find that the mean of $\mathbf{z}$ is given by

$$\mathbb{E}[\mathbf{z}] = \mathbf{R}^{-1}\begin{pmatrix} \mathbf{\Lambda}\mathbf{\mu} - \mathbf{A}^{\mathrm{T}}\mathbf{Lb} \\ \mathbf{Lb} \end{pmatrix}. \tag{3.91}$$

Making use of (3.89), we then obtain

$$\mathbb{E}[\mathbf{z}] = \begin{pmatrix} \mathbf{\mu} \\ \mathbf{A}\mathbf{\mu} + \mathbf{b} \end{pmatrix}. \tag{3.92}$$

接下来我们看下公式3.95和公式3.96

好的，我们来具体推导一下公式 (3.95) 和 (3.96)。推导过程基于条件高斯分布的性质以及矩阵运算的技巧。以下是详细的推导步骤：

好的，我们来具体推导一下公式 (3.95) 和 (3.96)。推导过程基于条件高斯分布的性质以及矩阵运算的技巧。以下是详细的推导步骤：期望算的有问题，协方差可以直接用矩阵看出来

1. 问题设定

假设我们有一个联合高斯分布 $p(\mathbf{x}, \mathbf{y})$，其中：

• $\mathbf{x}$ 是隐变量，$\mathbf{y}$ 是观测变量。
• 联合分布的精度矩阵（协方差矩阵的逆）为：
  $$\mathbf{\Lambda} = \begin{pmatrix} \mathbf{\Lambda}_{xx} & \mathbf{\Lambda}_{xy} \\ \mathbf{\Lambda}_{yx} & \mathbf{\Lambda}_{yy} \end{pmatrix}.$$
• 联合分布的均值为：
  $$\mathbb{E}[\mathbf{z}] = \begin{pmatrix} \mathbf{\mu}_x \\ \mathbf{\mu}_y \end{pmatrix}.$$

我们的目标是推导条件分布 $p(\mathbf{x} | \mathbf{y})$ 的均值 $\mathbb{E}[\mathbf{x} | \mathbf{y}]$ 和协方差 $\text{cov}[\mathbf{x} | \mathbf{y}]$。

---

2. 条件高斯分布的性质

条件高斯分布的均值和协方差公式为：

其中：

• $\mathbf{\Sigma}_{xx}$ 是 $\mathbf{x}$ 的协方差矩阵。
• $\mathbf{\Sigma}_{yy}$ 是 $\mathbf{y}$ 的协方差矩阵。
• $\mathbf{\Sigma}_{xy}$ 是 $\mathbf{x}$ 和 $\mathbf{y}$ 的交叉协方差矩阵。

---

3. 应用到具体问题

在公式 (3.89) 中，联合分布的协方差矩阵为：

我们可以将其分块表示为：

其中：

• $\mathbf{\Sigma}_{xx} = \mathbf{\Lambda}^{-1}$,
• $\mathbf{\Sigma}_{xy} = \mathbf{\Lambda}^{-1}\mathbf{A}^{\mathrm{T}}$,
• $\mathbf{\Sigma}_{yy} = \mathbf{L}^{-1} + \mathbf{A}\mathbf{\Lambda}^{-1}\mathbf{A}^{\mathrm{T}}$.

---

4. 推导条件均值 (3.95)

根据条件高斯分布的均值公式：

将 $\mathbf{\Sigma}_{xy}$ 和 $\mathbf{\Sigma}_{yy}$ 代入：

利用矩阵求逆引理（Woodbury 公式）

$$(\mathrm{A} + \mathrm{U C V})^{-1} = \mathrm{A}^{-1} - \mathrm{A}^{-1} \mathrm{U} \left( \mathrm{C}^{-1} + \mathrm{V} \mathrm{A}^{-1} \mathrm{U} \right)^{-1} \mathrm{V} \mathrm{A}^{-1} \tag{Woodbury 公式}$$

将其代入上式并简化，可以得到：

---

5. 推导条件协方差 (3.96)

根据条件高斯分布的协方差公式：

将 $\mathbf{\Sigma}_{xx}$, $\mathbf{\Sigma}_{xy}$, 和 $\mathbf{\Sigma}_{yy}$ 代入：

利用矩阵求逆引理（Woodbury 公式）：

将其代入上式并简化，可以得到：