扩散模型改进--加快采样FastDPM

FastDPM

On Fast Sampling of Diffusion Probabilistic Models (ICML 2021 Workshop)

contribution

• 针对扩散模型提出无需重新训练的快速采样框架，加快推理过程
• 提供多种采样方式，在图像、语音生成等领域进行测试分析

Method

经典扩散模型在反向去噪需要很长的迭代过程($T=1000$ in image synthesis (Ho et al., 2020))，FastDPM缩短采样数($S<<T$)

• 将离散的diffusion step推广到连续diffusion step
• 设计一个建立在diffusion step(t)和 noise level(r) 的双向映射

Bijective mapping between Continuous Diffusion Steps and Noise Level

已知： 定义： 假设$\beta$是线性分布 则：

给定noise level计算diffusion step

Approximate the Diffusion Process

we aim to construct each step in the approximate diffusion process noise level序列：$1>r_1>r_2>...>r_S>0$

Approximate the Reverse Process

Experiments

• dataset: CIFAR-10, CelebA(163k face images of resolution 64 × 64),LSUN-bedroom (∼3M bedroom images of resolution 256 × 256)
• Models: 预训练模型DDPM，$T=1000, \beta_1=10^{-4},\beta_T=10^{-2}$