Single image dehazing based on fusion strategy

random2020
930 阅读7分钟

Neurocomputing 2019

Fan Guo, Xin Zha](链接), Jin Tan, Hui Peng, Lijue Liu, Beiji Zou

简介

文章提出了一种基于派生图像融合策略的深度卷积网络。文章基于有雾场景特征从原始朦胧图像中提取了五张派生图像，分别为曝光图（EM），显着性图（SM），白平衡图（BM），伽玛校正图（GM），雾度面纱图（VM）。为了融合这五张图，文章提出了一个自编码器生成权重图，权重图逐像素乘上派生图累加后即可得到最终去雾结果。

Motivation

过去的一些方法中希望通过估计传输图得到无雾结果，但是传输图的Gth一般也不够准确，因此得到训练好的网络也不一定准确，容易导致测试结果产生伪影光晕或颜色失真。

因此文章希望不通过传输图和大气散射模型来进行去雾，以避开当这个物理模型不适用的情况。

Model

上图为文章提出的算法的总体框架。有雾图可以通过一些过去的算法得到一系列增强图像，文章称其为派生图。原始有雾图像结合这些派生图后输入到网络中，网络给出输入图像的权重图，将权重图乘以输入图像累加后即可得到去雾结果。其中Derived maps一共分为五张增强图像，分别为EM(exposure map)，SM(saliency map)，WM(white balance map)，GM(gamma correction map)，VM(haze veil map)。

EM(exposure map)

EM曝光图公式如下所示：

I_E(x,y)=\exp\left[-\frac{(I^k(x,y)-0.5)^2}{2\sigma^2}\right]

其中I^k(x,y)表示图像上的像素点；标准差\sigma被设置为0.25。

对于像素值接近0.5的像素，曝光图中的值小；对于像素值远离0.5而接近0或1的像素，曝光图中的值大。文章表示观察到远处景物被突出。

SM(saliency map)

被称为显著图，使用了来自Achanta等人 的《Frequency-tuned salient region detection》（CVPR2009）中提出的算法，在这篇文章中，SM表现出来的效果是增强近距离的物体。

WM(white balance map)

白平衡图目标在于消除由大气颜色引起的色偏。文章使用了基于灰色世界技术的方法来得到了所需的白平衡图。但是在获得白平衡图之后，图像的某些部分显得较暗和低对比度。因此又引入了下面两个派生图像。

GM(gamma correction map)

伽马校正用于提高其他派生图中缺乏的亮度，以避免最终结果太暗。伽马校正的公式如下：

I_G=\alpha I^\beta

在该文章中，\alpha=1，\beta=1.5

VM(haze veil map)

VM用于改善图像的对比度。 VM估计过程包括两个步骤：第一步是从有雾图中提取照明图，并获得VM及其自身的深度信息。 第二个是通过从对数域的原始图像中减去雾度来计算反射率图像。

\hat{L}(x,y)=I(x,y)*F(x,y)
F(x,y)=K\times e^{-\frac{(x^2+y^2)}{\sigma^2}}

其中*表示卷积操作，K表示归一化因子，\sigma表示标准差，控制模糊程度。计算得到的为照明图。如果卷积核的和为1，那么\hat{L}(x,y)可以表达为：

\bar{L}(x,y)=\frac{1}{HW}\sum^H_{x=1}\sum^W_{y=1}\hat{L}(x,y)

但是，只能在当雾度均匀时将L（x，y）视为雾度面纱。因此，将均匀的面纱乘以原始图像以获得类似深度的图：

L^{\prime}=255-I(x,y)\cdot \bar{L}(x,y)

根据Koschmieder模型，图像的强度反映了图像每个位置接收的光子数量，其中，场景点与相机之间的距离越远，强度就越小。 因此，可以通过强度来测量由深度样图反映的VM，因此提取深度样图的强度分量以产生与不同位置相关的雾度面纱。因此，将图像{L}^{\prime}(x,y)从RGB转换为YCbCr颜色空间，并提取强度分量\tilde{L}(x,y)。接下来，在对数域中，从原始图像I(x,y)中减去\tilde{L}(x,y)，通过使用指数变换获得反射图像\tilde{R}(x,y)。另外反射图像\tilde{R}(x,y)太暗，因此使用自适应对比度拉伸来获得最终的VM。

融合网络

网络是在U-net的基础上修改而来的。文章的网络对比U-net有三个改进：

  • 使用ResNet50的预训练网络的前几层来作为预训练层。
  • 解码器由级联残差块组成。
  • 引入了一个名为通道压缩块的网络模块。 此外，值得注意，输入图像一共有6张，包括了前文提到了5张增强图像和原始有雾图像。最终得到了6张权重图（Attention map），相乘后相加即得到最终的无雾结果。

其中CCB和CRB的结构如上图所示。值得注意的是，文章均使用了实例归一化代替批归一化操作。批次归一化使用批次数据来归一化特征图的每个通道，因此，由于雾度在不同雾度图像上的分布非常不同，因此它将干扰最终的除雾性能。

损失函数使用L_1和VGG。

数据和训练

数据集

包括水平翻转和随机旋转

  • 训练集：使用了RESIDE标准数据集的13900个室内合成图像和RESIDE-BETA数据集的500 0个室外合成图像。使用了水平翻转和随机旋转增强数据。

以上图像数据集均使用大气散射模型合成有雾图。而引入室外图像存在两个问题：

  • 室外深度估计误差

  • Gth存在原始雾

  • 测试集1：RESIDE标准数据集中的SOTS

  • 测试集2：从网络中收集的图像

训练设置

  • 使用SGD优化器，动量为0.9，动量衰减为0.0001
  • 学习率设置为0.001
  • 前两轮，仅对13900张图像大小为256×256的室内合成图像进行训练，the gradients are clipped to constrain the norm within [−0.5, 0.5] to stabilize the training process。
  • 剩下的15轮，使用室内和室外混合数据进行训练，该模型由13900个室内朦胧图像和5000个室外朦胧图像组成，并且所有图像调整为448×608。

对比和测试

测试指标

  • PSNR
  • SSIM

指标对比

结果展示

AM表示权重图（Attention map）

室内合成图像

户外真实图像

总结和分析

文章在最后分析了当前去雾领域的现状，存在问题，文章提出的算法存在的局限，和未来的展望： 去雾问题一般有以下几个困难点：

  • 由于散射和衰减现象，远距离区域缺乏可见性；
  • 雾度不均匀，因为由雾引起的表面景物衰减与照相机和表面之间的物理距离有关；
  • 原始模糊图像的颜色较暗，对比度降低。

尽管这些挑战的一部分已通过现有方法解决，但在保持清晰轮廓和原始图像的颜色分布的同时，以高视觉质量恢复无雾图像仍然是具有挑战性的问题，尤其是在不同雾度下具有不同雾度的自然雾图像场景。 大多数除雾方法都更多地集中在透射图和大气光的估计上，随后通过大气散射模型生成无雾图像。所有这些方法都强烈依赖于某些先验或假设，无效的先验可能会导致不佳的恢复结果。 最近的GFN 通过对三个导出图像进行门控来产生去雾图像。但是，该算法无法还原遥远的场景以及雾度高的损坏图像。文章提出算法相比较GFN有以下几个优点：

  • 暴露图和显着图相辅相成，从而改善了远方和附近地区的视觉质量
  • 采用白平衡图和伽玛校正图恢复模糊图像的色彩或亮度
  • 引入了雾度面纱图以改善整体图像的对比度。

但是，当亮度或对比度非常低时，文章的方法也无法生成具有吸引人的可见度的无雾结果。

作者表示自己的下一步去雾目标为：

  • 在各种恶劣环境下提高除雾性能的同时提高视觉质量
  • 优化网络架构，使算法能够在嵌入式设备上实时运行
  • 研究了在浓雾，沙尘暴或雨雪等恶劣天气下图像或视频增强的统一算法。
avatar
文章
阅读
粉丝