摘要及介绍

尽管最近的修复方法已经证明了深度神经网络的显着改进，但在填充缺失区域时，它们仍然存在诸如钝结构和突然颜色之类的伪影。 为了解决这些问题，我们提出了一种具有单色瓶颈的外部内部修复方案，可帮助图像修复模型消除这些伪影。 在外部学习阶段，我们重建单色空间中缺失的结构和细节以减少学习维度。 在内部学习阶段，我们提出了一种新颖的内部颜色传播方法，采用渐进式学习策略来恢复一致的颜色。

网络结构

Monochromic Reconstruction

这个模块主要用来生成粗略的修复结果，分别采用了四种修复网络GMCNN,HIFILL,EdgeConnect,GatedConv四种。并将RGB图像转化为单色图像

Internal Color Restoration

在得到单色图像之后，需要对图像颜色进行处理，作者先测试了现有的四种图像颜色处理方法，发现效果不佳。因此作者提出了利用深度神经网络隐式传播颜色信息。具体来说，就是在内部学习了非缺失区域I的颜色映射函数f，并直接将其应用到缺失区域Ih进行着色。然而，相似的单色输入可以映射到不同的多色值，甚至在一个单一的图像。因此,作者设计一个递进的配色网络来组合局部和全局颜色上下文。

以下为不同着色方法的对比

实验结果

总结

在本文中，我们提出了一种具有单色瓶颈的通用外部-内部学习修复方案。它首先利用从大型数据集外部学习的语义知识重建单色，然后从单个测试图像内部恢复颜色。 与以前的方法相比，我们的方法可以产生更连贯的结构和视觉上更协调的颜色。大量实验表明，我们的方法可以在几个主干模型上定性和定量地稳定改进。 我们方法的主要限制是推理速度。 由于着色需要额外的阶段，因此我们的方法比最先进的方法慢。