摘要

最近的深度生成修复方法使用注意力机制通过已知区域来修复未知区域。由于缺失区域和已知区域之间缺少缺乏监督，可能会无法找到合适的参考特征，这往往会导致结果中的伪影。此外，在推理过程中计算整个特征映射中的相似度会带来大量的计算开销。作者因此提出了上下文重建损失，通过查询-参考特征相似度和基于参考的重建器和修复生成器联合优化。仅在训练过程中使用辅助上下文重建损失（CR LOSS），在推理过程中只需使用修复生成器，节省了计算开销。

网络结构

整体的网络架构也是采用由粗到细的体系，类似于DeepFillv2。但是去掉了CA层并运用了CR损失。粗网络用来生成初步的修复结果，将初步结果送入精细网络生成最终结果。其中，精细网络采用了CR loss。

CA层和CR loss 的区别

我认为首先去掉层节省了计算量，另外CA层更像一个操作，而使用CR loss有监督的作用，能够选择更加合适的补丁用来填补缺失区域。

CR loss

如图所示CR loss训练由相似编码器（图中上面一部分），辅助编解码器组成（图中下面），首先相似编码器将生成的特征作为输入，对图像的相似性进行编码。辅助编码器通过相似编码器提供的相似性生成辅助图像。最终的CR loss为辅助解码器生成的特征的修复损失（L1损失和对抗性损失）