扩散模型应用之 RePaint
RePaint: Inpainting using Denoising Diffusion Probabilistic Models (CVPR2022)
contribution
- 提出基于扩散模型的图像绘画方法，与以往针对特定分布的mask不同，RePaint与mask无关，可以提高image Inpainting的泛化度。
- 在人脸和常规图像数据下测试，发现Repaint在standard and extreme masks下，效果均达到sota
Method
Conditioning on the known Region
在反向去噪过程中，为了保证未mask部分图像来源于原始图像，mask部分进行图像生成，设置以下迭代过程：
Resampling
仅进行上述反向去噪，生成的mask部分仅仅实现与其他区域的content type match，如n=1所示。虽然绘制的区域与相邻区域的纹理相匹配，但在语义上是不正确的。
原因分析：使用公式8a采样图像已知部分时，没有考虑到已经生成的mask区域
因此可以使用如下公式，进行重新采样
完整算法如下：
