- 文章标题： Wave-Mamba: Wavelet State Space Model for Ultra-High-Definition Low-Light Image Enhancement
- 论文地址：dl.acm.org/doi/abs/10.…
- 代码地址：github.com/AlexZou14/W…
- 年份：2024年ACM MM
研究背景
超高清（UHD）技术因其卓越的视觉质量而受到广泛关注，但在低光图像增强（LLIE）技术方面也带来了新的挑战。UHD图像固有的高计算复杂度使得现有的UHD LLIE方法采用高倍率下采样来降低计算成本，但这样会导致信息丢失。小波变换不仅可以实现无信息丢失的下采样，还能将图像内容与噪声分离，使状态空间模型（SSMs）在建模长序列时不受噪声影响，从而充分利用SSMs的长序列建模能力。
方法概述
本文提出了一种基于小波变换和Mamba的状态空间模型的新型方法Wave-Mamba，用于UHD低光图像增强。该方法基于小波域的两个关键观察结果：1）图像的大部分内容信息存在于低频分量中，高频分量中的信息较少；2）高频分量对低光增强的结果影响较小。具体来说，为了高效地对UHD图像的全局内容信息进行建模，我们提出了一种低频状态空间块（LFSSBlock），通过改进SSMs来专注于恢复低频子带的信息。此外，我们还提出了一种高频增强块（HFEBlock），用于高频子带信息，利用增强的低频信息来校正高频信息，有效恢复正确的高频细节。
图2展示了Wave-Mamba模型的整体架构，这是一个基于小波变换的多尺度UNet结构，用于超高清低光照图像增强。输入图像首先通过3×3卷积获取低级嵌入特征，然后通过小波变换（DWT）进行下采样，将图像分解为低频和高频子带。低频特征通过低频状态空间块（LFSSBlock）进行处理，利用状态空间模型（SSM）的强大全局建模能力，增强低频信息。高频特征则通过高频增强块（HFEBlock）进行处理，利用增强后的低频信息来纠正和恢复高频细节。在每个层级，低频和高频特征通过选择性核特征融合（SKFF）进行融合，并通过LFSSBlock和HFEBlock进一步增强。最后，通过逆小波变换（IWT）逐步上采样，将处理后的特征重建为图像，最终通过元素求和得到高质量的增强图像。该架构充分利用了小波变换的信息保持特性和SSM的全局建模能力，避免了传统下采样带来的信息丢失，同时通过模块化设计实现了高效的特征增强和融合。
-
低频状态空间块（LFSSBlock）：利用SSMs的强大全局建模能力，通过层归一化（Layer Normalization）和视觉状态空间模块（VSSM）捕捉空间长期依赖关系，并结合门控前馈网络（GFFN）提高通道信息流的效率。
-
高频增强块（HFEBlock）：通过频率匹配变换（FMT）将低频特征转换为高频特征，利用低频特征中的相似信息来增强高频分量，从而在注意力机制和前向网络中实现频率匹配和校正。
图5展示了Wave-Mamba模型中的两个关键模块：高频增强块（HFEBlock）和频率匹配变换（FMT）。HFEBlock旨在利用增强后的低频信息来校正和增强高频特征，从而有效地恢复出正确的高频细节。它包含频率匹配变换注意力（FMTA）和频率校正前馈网络（FCFN），分别用于探索频率匹配和校正。FMT通过计算高频和低频特征之间的相似性矩阵，选择低频特征中更具有代表性的高频相似特征，以增强高频特征的表示。这种设计使得HFEBlock能够有效地利用低频信息来增强高频细节，从而提高图像的纹理清晰度和视觉质量。
-
小波变换的应用：在下采样阶段采用离散小波变换（DWT），避免传统下采样操作导致的信息丢失。在上采样阶段采用小波逆变换（IWT），逐步恢复图像分辨率。
实验结果
-
数据集：实验使用了三个基准数据集来评估低光图像增强算法，包括UHD-LL数据集、UHD-LOL基准和LOL数据集。
-
定量结果：Wave-Mamba在所有UHD数据集上均取得了最佳的PSNR性能结果，并且在感知度量方面也显著优于当前最先进的UHDFormer方法。在LOLv1和LOLv2-Real数据集上，Wave-Mamba也取得了最先进的结果。
-
定性结果：与现有的UHD LLIE方法相比，Wave-Mamba能够更接近真实颜色和纹理细节，有效增强低可见度和低对比度区域，可靠地去除噪声而不引入不需要的伪影，并且稳健地保持原始颜色信息。
结论
本文提出的Wave-Mamba方法通过结合小波变换和Mamba的状态空间模型，有效地解决了UHD低光图像增强中的信息丢失和计算成本问题。实验结果表明，Wave-Mamba在UHD LLIE任务中展现出了卓越的性能和效率优势，能够为超高清低光图像的增强提供一种新的有效解决方案。
