摘要及介绍

这篇文章的创新是把知识蒸馏引入了图像修复。以前的图像修复将图像修复过程分为了两个阶段。这些方法往往在第一个阶段产生粗糙的修复结果，之后发送到第二阶段进行精细的图像修复。这种方法通常需要使用多个生成器，导致推理速度较慢或成本较高。这篇文章提出了利用知识蒸馏的思想通过一个训练好的模型来指导训练一个生成网络。只需训练一个生成网络就能产生较好的效果。

网络结构

整个网络结构分为两部分，上面为修复网络，下面为指导网络。教师网络通过特征蒸馏和注意力蒸馏将信息传给学生网络指导生成。

Encoder中的监督机制

1.Cross-Distillation (CD)（what to fill）

首先初步的特征差异为

x为input，γ为 meta network,xl为l层的输出。

考虑到任务的不同每个特征通道不是同等有用的，作者在特征差值的基础上引入一个全连接神经网络加softmax来对不同通道的差进行重新加权，用来选取更加重要的通道。

Self-Distillation (SD)（how to fill）

自监督同样采用了上述的加权机制，不同的是自监督是利用网络后面的特征来监督前面的特征.

fl代表下采样

Adaptive Completion-block (CB) in Encoder:

对于图像修复中编码器层既要从未被破坏区域中提取有意义的特征，又要准确的用粗糙信息来填补空洞，这是两种不同的任务。作者将这两种任务解耦，用了一个单独的CB块来完成填充空洞任务。

作者还提出了使用自适应卷积层来取代空洞卷积。