Latent Diffusion Models在手写数字集的实现上次在MNIST数据集上试了下扩散模型，这次我们使用隐空

回顾扩散模型

根据上次的结论，扩散模型可以视为一种带隐变量的生成模型，它的隐变量就是噪声。扩散模型有两个部分构成，分别是扩散和还原。

扩散过程对应图片到噪声的过程。首先从图片 $x_{0}$ 到纯噪声 $x_T$ 是一个长度为 $T$ 的马尔科夫链，如公式1； $t$ 时刻的图片需要通过 $t-1$ 时刻的图加噪得到(一阶马尔可夫链)，如公式2；经过数学换算后，就可以将原始图片 $x_0$ 直接映射到任意 $t$ 时刻的图 $x_{t}$ 了，形式化表达如下，

q(x_{1:T}|x_{0}):=\prod_{t=1}^{T}q(x_{t}|x_{t-1})\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ (1)\\ q(x_t|x_{t-1})=\mathcal{N}(x_{t};\sqrt{1-\beta_{t}}x_{t-1},\beta_{t}I)(2)\\ q(x_t|x_0)=\mathcal{N}(x_t;\sqrt{\overline{\alpha_{t}}}x_{0},(1-\overline{\alpha_{t}})I)\ \ \ \ (3)\\

其中， $\alpha_{t}$ 是一个已知实数。

还原过程对应噪声图片去噪的过程。给定一张 $t$ 时刻的带噪声的图 $x_t$ ， $x_{t-1}$ 可以表示为 $x_{t}$ 和添加噪声 $\epsilon$ 的加权。如果我们可以预测噪声 $\epsilon$ ，那我们就可以还原 $x_{t-1}$ ，如公式4。噪声 $\epsilon$ 的预测就用神经网络去做。从而，我们可以得到 $x_{0:T}$ 的联合分布，如公式5，进而积分得到原始图像 $x_{0}$ 的分布，如公式6。

p_{\theta}(x_{t-1}|x_{t}):=\mathcal{N}(x_{t-1};\mu_{\theta}(x_t,t),\textstyle \sum_{\theta}(x_{\theta},t))\ \ \ \ \ \ \ \ \ \ \ (4)\\ p_{\theta}(x_{0:T}):=p(x_{T}))\prod_{t=1}^{T}p_{\theta}(x_{t-1}|x_{t})\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ (5)\\ p_{\theta}(x_{0}):=\int p_{\theta}(x_{0:T})dx_{1:T}\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ (6)

由于，公式6的积分比较难处理，我们采用变分估计 $E[-logP_{\theta}(x_{0})]$ 的下限。通过损失优化其下限，进而学习图像的分布。

带隐变量的扩散模型

扩散模型已经在图像修复、生成和多模态等方面取得了显著的成就。原始的扩散模型是像素级的（噪声需要和图像一般大），推理是费时费力的。进而，引入了带隐变量的扩散模型，如图1所示。**隐变量大小往往是远远小于图片大小的，因此减少了空间和时间的消耗。**注意，由于自动编码器编码了图像并没有理解图像内容的特征，即不同图像的编码之间没有语义联系，这里使用的是变分自动编码器，它可以学习图像的分布。

ldm模型图.png