3.4. The Exponential Family 公式3.157为了推导公式 (3.157)，我们从公式 (3.1

为了推导公式 (3.157)，我们从公式 (3.156) 开始：

\ln\left(\frac{\mu_k}{1 - \sum_{j=1}^{M-1} \mu_j}\right) = \eta_k

首先，我们对两边取指数：

\frac{\mu_k}{1 - \sum_{j=1}^{M-1} \mu_j} = \exp(\eta_k)

接下来，我们可以将 $\mu_k$ 表示为：

\mu_k = \exp(\eta_k) \left(1 - \sum_{j=1}^{M-1} \mu_j\right)

为了消除 $\mu_k$ 中的 $\sum_{j=1}^{M-1} \mu_j$ ，我们对所有 $k$ 求和：

\sum_{k=1}^{M-1} \mu_k = \sum_{k=1}^{M-1} \exp(\eta_k) \left(1 - \sum_{j=1}^{M-1} \mu_j\right)

设 $S = \sum_{k=1}^{M-1} \mu_k$ ，则上式可以写成：

S = \left(1 - S\right) \sum_{k=1}^{M-1} \exp(\eta_k)

将 $S$ 移到左边：

S + S \sum_{k=1}^{M-1} \exp(\eta_k) = \sum_{k=1}^{M-1} \exp(\eta_k)

提取 $S$ ：

S \left(1 + \sum_{k=1}^{M-1} \exp(\eta_k)\right) = \sum_{k=1}^{M-1} \exp(\eta_k)

解出 $S$ ：

S = \frac{\sum_{k=1}^{M-1} \exp(\eta_k)}{1 + \sum_{k=1}^{M-1} \exp(\eta_k)}

现在，我们可以将 $S$ 代入 $\mu_k$ 的表达式中：

\mu_k = \exp(\eta_k) \left(1 - \frac{\sum_{j=1}^{M-1} \exp(\eta_j)}{1 + \sum_{j=1}^{M-1} \exp(\eta_j)}\right)

简化括号内的表达式：

1 - \frac{\sum_{j=1}^{M-1} \exp(\eta_j)}{1 + \sum_{j=1}^{M-1} \exp(\eta_j)} = \frac{1}{1 + \sum_{j=1}^{M-1} \exp(\eta_j)}

因此， $\mu_k$ 的最终表达式为：

\mu_k = \frac{\exp(\eta_k)}{1 + \sum_{j=1}^{M-1} \exp(\eta_j)}

这就是公式 (3.157) 的推导过程。