Low-light Image Enhancement via Breaking Down the Darkness
Abstract
在弱光条件下拍摄的图像会遭受退化 如果仅是调整光照会造成颜色失真和产生噪声 同样也是受Retinex理论的启发 将图像分成两个模块(纹理、颜色分量) 将RGB颜色空间的图像转换为亮度色度图像 设计了一种可调噪声抑制网络来消除明亮亮度中的噪声，其照明图估计以指示噪声放大水平 增强的亮度进一步作为色度映射器的指导，以生成真实的颜色
Introduction
假设一幅图像可以分解成纹理(连同噪声主体)和颜色分量，可以具体执行噪声去除和颜色校正以及光线调整等操作。换句话说，通过纹理-颜色分离，我们可以单独处理纹理和颜色组件的退化，即关注纹理中的噪声问题和对应的颜色失真
Problem Analysis and Motivation
以前的大多数方法都忽略了退化放大与光照调整(增强)之间的关系-->隐藏在黑暗中的缺陷会在最终或中间结果中爆发
提出一个函数，将图像分解成两个部分 一个是纹理因子Ftex(类似于Retinex理论中的反射率） 另一个是颜色因子Fcol 按照我自己的理解相当于先是把轮廓画出来 然后再是上色 与弱光环境相比，正常照明条件下的图像对比度更强
作者提出一旦从低光图像I中恢复出来高光图像的纹理图和低光图像的照明图，就可以获得任意照明亮度的纹理图(运算方法如公式二所示)
此外 作者也通过一个可训练的网络来估计出任何照明亮度下的颜色因子 (方法如公示三所示)
得到了任意照明亮度下的颜色因子 纹理图就可以合成一个完整的在任意照明亮度下的图像
Methodology
解读网络框架图： 1.首先先将输入的低光图像转化为亮度色度颜色空间，然后分别得到颜色图和纹理图 2.将纹理图放入IAN中，可以估计出图像的相对照明图 随后产生调整后的纹理图 3.将纹理图通过ANSN进行去噪 再通过一个额外的噪声融合模块产生具有一定噪声的纹理图 为了增强模型的鲁棒性 4.把产生的纹理图作为引导，调整低光图像的颜色图 再将增强后的纹理图和颜色图用相应的函数融合得到低光图像增强后的图像
为了在很大程度上排除其他因素的影响并验证主要主张，所有子网络都遵循简单的U形架构，如图 5 所示 每个子网络中有三个下采样层和三个上采样层 在每个缩放层之前插入两个具有ReLU激活的卷积层 下采样后每个块的内部通道加倍，上采样后减半，其变化量在32到128之间 所有卷积层均采用3×3内核大小，stride=1和padding=1 除仅卷积的ANSN外，所有子网络在其尾部都配备了Sigmoid激活 子网络是单独训练的
IAN：光照调整网络 用来估计低光图像的纹理图和高质量图像纹理图之间的相对照明
∈是一个很小的常数 为了防止分母为0 α和β是用来平衡不同项的变量 ^L是预测照明的差异 最后一项是保留相似性，减少晕伪影
一旦获得了^L，就可以获得第一阶段的输出
ANSN:自适应噪声抑制网络
由传统的AWGN改变而来
G可以看作是与^L成反比的注意力/引导图
ANSN用了简单的损失函数
在实际应用实例当中，会有一点问题 一个是用不同拍摄设备拍摄所产生的噪声是不同的 另一个是G的估计不一定特别好，由于没有ground-trush 因此作者又开发了一个NFM模块-->为了稳定的去除噪声
NFM：融合算子通过最小化以下目标来弥补不同相机和/或前一阶段留下的错误
在测试阶段，输入的ground-truth照明不可用，因此不需要修复光照估计中的错误 对于这些非参考图像，相应地修改了我们的 NFM 训练策略
CAN：在亮度增强和噪声抑制之后调整图像的颜色，以确保最终的增强图像既明亮又具有逼真的颜色
Performance Evaluation
LOL
Others
