动机
1.针对如何提取图像特征等问题，作者提出了多个分支卷积，每个分支采用不同的感受野。
2.对与为缺失区域寻找相似的patch，作者提出了ID-MRF。
3.对于缺失区域的修复结果有很可能性的结果，提出了新的置信驱动的重建损失，根据缺失区域的空间位置约束生成内容。
网络结构
如上图所示，包含三个子网络。一个生成网络，一个全局和局部鉴别器网络，和一个预训练的VGG网络来计算ID-MRF loss。在测试阶段仅仅只有生成网络被使用。
生成器网络包含三个平行的编码-解码卷积结构的分支来提取输入数据（破损图片和掩码M）的不同水平的特征，一个共享的解码器网络将三个分支提取的特征（这里的特征图的尺寸是和原始图片大小一样大）进行concat组合起来作为输入，将组合的特征进行解码到自然图像的数据空间上去（即进行图像的修复）。如图2所示，三个分支使用不同的感受野进行特征提取。不同的感受野必然会导致最后得到的特征图的尺寸不一样大，那么三个分支的提取到的特征图就不好concat组合，本文是采用双线性插值进行上采样进行扩大特征图的尺寸。
虽然三个分支看上去是相互独立的，但是由于共享解码器，三者之间是互相影响的
ID-MRF Regularization
要计算ID-MRF损失，可以简单地使用直接相似度度量(如余弦相似度)来找到生成内容中的补丁的最近邻居。但这一过程往往产生平滑的结构，因为一个平坦的区域容易连接到类似的模式，并迅速减少结构的多样性。我们采用相对距离度量来建模局部特征与目标特征集之间的关系。它可以恢复细微细节。
information Fusion
- 空间重建损失
破损区域距离边界近的应该比距离边界远的具有更加多的约束。
- 生成对抗损失
采用更加优化的w-GAN来实现
版权声明：本文为CSDN博主「halo_wm」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：blog.csdn.net/qq_37937847…
