Visual Haze Removal by a Uniﬁed Generative Adversarial Network

IEEE Transactions on Circuits and Systems for Video Technology 2019 Yanwei Pang , Senior Member, IEEE, Jin Xie , and Xuelong Li , Fellow, IEEE

简介

文章对于去雾问题提出了名为HRGAN的新网络，顾名思义是生成器-鉴别器的对抗式生成网络。HRGAN能够联合估计大气散射模型中A，t和去雾结果J。生成器部分称为UNTA，意味联合了A，t来估算最终去雾结果J。鉴别器负责区分生成器的去雾结果和Gth。文章使用了像素损失（pixel-wise loss），感知损失（perceptual loss），对抗损失（adversarial loss）。

motivation

首先文章认为以往的基于学习的去雾一般为，估计A，估计t，然后就反向传播了。这样的计算方式孤立了A和t的估计，如果能够对它的去雾结果J计算一个loss来反向传播会更好。

model

生成器（Generator）

生成器网络由Transmission Map模块和Atmospheric Light模块组成，分别负责估计t和A。估计得到的t和A通过大气散射模型计算得到J，即去雾结果。

Transmission Map Module

在图中的三条支路上，文章使用了不同扩张因子的扩张卷积。最后将其堆叠在一起后再次卷积，文章认为这个过程在避免了大量参数的情况下，提高了感受野。

Atmospheric Light Module

如上图所示，在进行了一次进行没有padding的卷积核为 $h\times w$ 的卷积操作后，通过Max pooling得到最终的估计结果，即包含估计A的三个通道的值。其中 $h\times w=15\times15$

鉴别器（Discriminator）

生成器和鉴别器通过以下这条公式来轮流更新权重：

\min_G\max_D \mathbb{E}_{J_{real}\sim p_{train}(J_{real})}[logD(J_{real})]+\mathbb{E}_{I\sim p_G(I)}[log(1-D(G(I)))]

鉴别器的结果是处于 $[0,1]$ 的范围内的。故以上表达式为负。鉴别器D的任务是最大化该公式，使 $D(J_{real})=1,D(G(I))=0$ ，能使该表达式达到最大值0。反之，鉴别器的任务是使 $G(I)$ 尽可能的和 $J_{real}$ 一样，让鉴别器难以区分，从而得到 $D(G(I))\gg0$ ，使该上述表达式变小。

一次只输入一张图像，输出结果是判断输入图像是真实场景的图像还是去雾网络的去雾结果。

Loss Function

损失函数公式表达如下：

$L_E$ , $L_A$ , $L_P$ 分别为像素损失（pixel-wise loss），对抗损失（adversarial loss），感知损失（perceptual loss）。其中 $\lambda_A=10^2$ , $\lambda_P=5\times10^{-4}$

像素损失（pixel-wise loss）

L_E=L_J+\lambda_tL_t=\frac{1}{CWH}\sum^C_{c=1}\sum^W_{x=1}\sum^H_{y=1}(G(I)_{c,x,y}-J_{c,x,y})^2+\lambda_t\frac{1}{WH}\sum^W_{x=1}\sum^H_{y=1}(G_t(I)_{x,y}-t_{x,y})^2

该损失函数为去雾结果和无雾图以及估计的t图和Gth的t图的 $L_2$ 损失。其中 $\lambda_t=1$

对抗损失（adversarial loss）

感知损失（perceptual loss）

L_P=\frac{1}{C_fW_fH_f}\sum_{c=1}^{C_f}\sum_{w=1}^{W_f}\sum_{y=1}^{H_f}(\phi(J)_{c,x,y}-\phi(G(I))_{c,x,y})^2

$\phi$ 是VGG-16网络的某一层特征层。感知损失能够比像素损失更好的衡量图像的视觉相似性。

数据和训练

数据集

训练集使用NYU-Depth V2合成的有雾图像。其中 $A \in[0.7,1.0]$ , $\beta\in\{0.4,0.6,0.8,1.0,1.2,1.4,1.6\}$ 。从用NYU-Depth V2选择1000张无雾图，随机选择10组 $A$ 和 $\beta$ 合成1W张训练图像。
从Middlubury立体数据集中获得300张室内合成图像作为测试集1
从SOTS数据集中获得500张室外合成图像作为测试集2