Densely pyramidal residual network for UAV-based railway images dehazing

356 阅读3分钟

Neurocomputing 2019

Yunpeng Wu, Yong Qin, Zhipeng Wang, Xiaoping Ma, Zhiwei Cao

简介

文章是基于无人机的去雾算法。无人机在执行检测轨道任务是,常遇雾霾天气,对检测轨道安全产生了影响。文章对于这一场景做了对应的研究。文章对于网络结果和损失函数做了创新工作。网络结构使用了密集金字塔残差端到端网络(DPRNet),损失函数采用了结构相似性。

Motivation

由于估算A和t然后得到J的计算过程估算了两个参数,会积累和放大误差,因此文章认为使用端到端的去雾网络会更好。

并且在对无人机拍摄的图像去雾时,会面临以下几个问题:

  • 无人机拍摄的图像大气光不均匀,在有雾环境下会比较暗,并且带有一定的噪声和抖动。
  • 一般无人机拍摄的图像深度信息可能缺乏,即航拍图的深度大体上都差不多。由此估算深度信息会比较困难。
  • 数据不多,没有成对的无人机拍摄的有雾图像数据集。

Model

图中D_0为DRB 1的输入,D_1为DRB 1的输出,其他同理。图分为左右两块,由红色虚线分开,其中左边为高分辨率部分(HR)不包含池化层,右边为低分辨率部分(LR)包含两个池化层。上图灰色部分是彩色部分的结构解释。高分辨率部分主要由DRB(dense residual blocks)组成,低分辨率部分主要由ERB(enhanced residual blocks)组成。

上图(c)为DRB
上图(c)为ERB。可以看出,它删除了BN层,文章给出了以下四点理由:

  • 在较深的网络中,BN,conv,ReLU层等融合的操作会使网络复杂化并难以融合,并且使用参数0.1代替BN层。
  • 使用BN层会丢失一些原始信息。
  • BN层在网络中占据的显存量相当于卷积层,这样的操作降低了显存占用。
  • 这种修改在实验中表明提高了性能。

损失函数

文章选择了MSE和SSIM作为损失函数。

数据和训练

数据集

  • 训练集1为无人机拍摄清晰的图像后合成有雾图像。拍摄图像时,无人机距离地面30-70m。随机选择大气光A \in [0.5,1];深度图d随机生成,其像素符合[0,1]上的均匀分布;随机选择大气散射系数\beta,文章未给出取值范围。如下图:

  • 训练集2为ChinaMM2018的通用数据集。

一共有13000张训练图像。其中包含验证集的1000张图像。

  • 测试集1为同于训练集2,有500张图像。
  • 测试集2等同于训练集1,有200张图像。
  • 测试集3为真实世界的有雾图像,无Gth。

训练设置

  • MSE和SSIM中的权重均为1
  • Adam优化器
  • 学习率为2\times 10^{-3}
  • 图像大小均为512\times 512
  • 使用交叉验证法,一共训练170轮

对比和测试

测试指标

  • PSNR
  • SSIM

指标对比

结果展示