正态分布标准化

对于一个服从高斯分布的随机变量$x \sim \mathcal N(\mu,\sigma^2)$，计算其均值$\mu$和标准差$\sigma$。

其概率密度函数：

所谓“标准正态分布”，就是取 $\mu=0$ 一般 $\sigma^2=1$ 正态分布给出的。

其概率密度函数：

对于任意一个正态分布的概率密度函数积分：

令$z = \frac{x-\mu}{\sigma}$，上边公式就变成了：

所以我们可以得到新的随机变量$z = \frac{x-\mu}{\sigma}$，符合标准正态分布。

所以对于一个服从高斯分布的随机变量$x \sim \mathcal N(\mu,\sigma^2)$，取$z = \frac{x - \mu}{\sigma}$即可将其转化为标准高斯分布$z \sim \mathcal N(0,1)$。

VAE中的参数重整化

VAE原文：Thesis.pdf (uva.nl)

原来我们要从潜变量空间上随机采样一个值，就相当于从$\mathrm{q}_\phi(\mathbf{z} | \mathbf{x}) = \mathcal{N}\left(\mu, \sigma^2\right)$中直接取$\mathbf z$。

这样在反向传播过程中，“随机”这个过程是不可微的，因此无法使用梯度下降更新网络参数。因此我们需要将$\mathbf z$的产生变成一个确定过程。

借助正态分布标准化，取$\epsilon = \frac{\mathbf z-\mu}{\sigma}$，我们可以知道$\epsilon \sim \mathcal{N}(0, \boldsymbol{I})$，现在$\mathbf z=\mu+\epsilon \times \sigma$。

标准化之后，还是用的$\mathrm{q}_\phi(\mathbf{z} | \mathbf{x})$的$\mu$和$\sigma$，但是$\mathbf z$从$\mathrm{q}_\phi(\mathbf{z} | \mathbf{x}) = \mathcal{N}\left(\mu, \sigma^2\right)$中直接采样，变成了通过确定性方程$\mathrm g( \phi, \mathbf{x}, \epsilon) =\mu+\epsilon \times \sigma$得到的。

采样$\mathbf z$变成从标准正态分布中采样一个$\epsilon$，将随机性转嫁到了$\epsilon$上，不影响整体的梯度传导。

也就是 Reparameterization Trick

DDPM中的参数重整化

Given a data point sampled from a real data distribution $\mathbf{x}_0 \sim q(\mathbf{x})$, let us define a forward diffusion process in which we add small amount of Gaussian noise to the sample in $T$ steps, producing a sequence of noisy samples $\mathbf{x}_1, \ldots, \mathbf{x}_T$. The step sizes are controlled by a variance schedule $\left\{\beta_t \in(0,1)\right\}_{t=1}^T$

潜变量的后验分布为：

拆开看$\mathbf x_t$的后验分布如下：

然后我们就可以认为每个时间步$t$的图像是从均值为${\mu}_t = \sqrt{1 - \beta_t} \mathbf {x}_{t-1}$、方差为$\sigma^2_t = \beta_t$的高斯分布中画出来的。

借助参数重整化可以写成:

其中$\mathbf{\epsilon} \sim \mathcal{N}(\mathbf{0}, \mathbf{I})$，是从标准高斯分布中采样的噪声。

---

本文正在参加「金石计划」