摘要及介绍

目前基于深度学习的图像修复方法由于硬件条件的限制，往往只能处理低分辨率的图像，对于大一点的图像，修复结果会比较模糊。于是作者提出了一个基于图像内容和纹理约束联合优化的多尺度合成方法。这种方法不仅保留了图像上下文结构，而且通过匹配和适应图像特征来生成细节。实验结果显示作者方法不仅产生更清晰的结果，同时还能应用于高分辨率图像。

网络结构

整体流程如下： 1）输入一张高分辨率图像和Mask

2）高分辨率图像进行下采样得到低分辨率图像

3）低分辨图像再上采样得到高分辨率模糊图像

4）将低分辨率图像和Mask输入生成器得到注意力分数和修复后的低分辨率图像

5）输入的高分辨率图像和高分辨模糊图像进行相减得到残差图像

6）残差图像通过注意力分数得到Mask区域的残差

7）生成器生成的图像上采样得到模糊图像并裁剪Mask区域内容

8）Mas区域内容和Mask区域残差相加得到高分辨率修复结果

9）将结果和原始输入相加得到最终结果

Attention Computing Module (ACM)

从一个高级特征图中，根据区域亲和力计算注意力得分。通过划分Patch计算余弦相似度。

pi为Mask区域外的块，pj为区域内的块

得到余弦相似度之后进行SoftMax操作得到注意力分数

Attention Transfer Module (ATM)

缺失的区域可以由注意力分数得到。缺失部分的块为未缺失的块和注意力分数相乘求和。

Multi-scale attention transfer and score sharing.

作者只计算一次注意力分数，这样可以减少参数，提高效率

Residual Aggregation

Mask区域内的残差通过相似的方法得到

Architecture of Generator

生成器结构如图所示，再特征图为32*32的时候计算注意力分数。上采样的时候会融合ATM产生的特征图。

损失函数

损失采用了对抗损失和重建损失的加权和

对抗损失：

重建损失：

最终损失：

总结：

提出了一种新的上下文残差聚合技术，使更有效和高质量的超高分辨率图像修补。与其他数据驱动方法不同，分辨率和孔尺寸的增加不会恶化涂装质量，也不会在框架中大大增加处理时间。在1K到2K之间的高分辨率图像上进行测试时，模型在相同大小的图像上比最先进的模型快3 ~ 6倍，效率极高。