Image Inpainting with External-internal Learning and Monochromic Bottleneck阅读笔记

222 阅读1分钟

论文的贡献

1.首次将外部-内部学习方法引入深层图像修复,它通过训练大型数据集从外部学习语义知识,同时充分利用单个测试图像的内部统计信息。

2.设计了一种渐进式的内部色彩恢复网络,该网络可以实现出色的着色性能。

网络结构

image.png 首先将图片送入图像修复网络(可以是现有的框架)。将得到的修复图像转化为单色图像。之后将单色图像送入颜色重建网络获得彩色图像。这种方法产生的图像相比于直接修复得到的图像具有更好的颜色信息

外部单色重构

输入为RGB图像以及对应的单色图像的通道级联结果,输出为单色修复图像。本文采用以下四种图像修复方法作为重构网络结构 GMCNN、HIFILL、EdgeConnect、GateConv。 单色图像生成方式为:0.30R + 0.59G + 0.11B

内部颜色恢复

image.png

结果

image.png