CutBlur：重新思考超分辨率重建中的数据增强

我先下了
345 阅读6分钟

持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第13天，点击查看活动详情

摘要

  • 数据增强的作用
  • 当前数据增强方法的劣势，为什么要提出本文方法
  • 本文方法的优势：改进了其他低级视觉任务，例如去噪和压缩伪影去除

引言

数据增强的必要性

  • 数据增强是在测试阶段不增加计算成本的情况下提高模型性能的最实用的方法之一
  • 数据增强可以增加轻松丰富真实世界样本数量
  • 很少有人研究针对超分重建的数据增强方法
  1. Radu：第一个研究各种技术来提高基于示例的单图像超分辨率（SISR）性能；只研究了传统SR模型和一个非常肤浅的基于学习的模型SRCNN的简单几何操作。数据增强操作过于简单
  2. Feng：在基于示例的SISR问题中分析近期DA方法（Mixup）的唯一工作；仅提供了有限的观察结果，使用了一个single U-Net-like architecture，并用一个数据集测试了该方法（RealSR）。对提出的Mixup数据增强方法的测试过于有限
  • 全面分析最初为高水平视觉任务开发的各种DA方法的效果
  1. 当高水平视觉任务中的数据增强方法直接应用于SISR时，发现一些方法损害了图像恢复结果，甚至妨碍了训练，尤其是当一种方法在很大程度上导致附近像素之间的空间信息丢失或混淆时
  2. 像RGB排列这样的基本操作不会导致严重的空间扭曲，与那些导致不切实际的图案或结构急剧转变的操作（Mixup和CutMix）相比，它们提供了更好的改进
  • cutblur
  1. 方法：将LR图像块转移到相对应的HR图像块
  2. 作用：防止SR模型过度锐化
    通过鼓励模型学习如何以及在何处对图像进行超分辨重建，达到正则化的效果
    模型还能知道应该在给定图像的每个局部应用“多少”超分辨率
  3. 基于cutblur的混合数据增强方法（MoA）
  • 本文贡献
  1. 第一个对直接应用于SISR任务的最新数据增强方法进行全面分析
  2. 提出新的数据增强方法cutblur，可以通过正则化模型来减少不切实际的失真，不仅可以学习如何，还可以学习将超分辨率应用于给定图像的“位置”。
  3. 混合策略展示了在SR任务上一致且显著的改进，在RealSR数据集上达到了SOTA。

数据增强方法分析

概述：分析现有DA方法，并在基线超分模型EDSR上对它们进行比较。（使用官方代码在DIV2K和RealSR上从头训练）

之前的作品

  • 像素域中的DA
    Mixup：混合两幅图像，生成一个无法预测训练样本
    Cutout及其变体：将图像中随机选择的区域删除
    CutMix：解决了剪切不能充分利用训练数据的问题，用另一幅图像替换了随机区域
    AutoAugment：了解给定任务和数据集的最佳扩充策略
  • 特征域中的DA
    特征混合：Manifold Mixup混合输入图像和潜在特征
    震动：Shake-shake和ShakeDrop对特征执行随机仿射变换
    下降：跟随Dropout提出许多特征删除策略以提高模型的泛化能力
  • 超分重建中的DA
    简单的几何操作已广泛应用于SR：Feng等人表明，Mixup可以缓解SR模型的过拟合问题

分析现有的DA方法

  • 许多增强方法的核心思想：部分地阻断或混淆训练信号，从而使模型获得更大的泛化能力
    一方面丢弃信息的DA方法会损害SR模型性能：在高级视觉任务中模型学习抽象图像，而低级视觉任务中，像素之间的局部和全局关系尤为重要。考虑到这一特点，DA方法会丢失空间信息，从而限制模型恢复图像的能力。事实上，我们观察到丢弃信息的DA方法对SR性能有害，尤其是在具有较大感受野的特征空间中有害。
    另一方面仔细（改进）应用像素空间中的DA方法时，会带来一些改进：Cutout当以0.1%的比率应用并擦除随机像素而不是矩形区域时，性能有提升。但是这个比率只会擦除几个像素。
  • CutMixup：CutMix和Mixup的变体
    CutMix仅显示了微小的改进，假设这是因为CutMix产生了图像上下文生成边界的急剧转变。
    Mixup提高了性能，但它混合了两个不同图像的上下文，这可能会混淆模型。
    RGB permutation和Blend这种没有引起结构变换的方法提高了性能，证明了边界的急剧转变会降低性能的假设
    通过充分利用这两种方法，CutMixUp可以最大限度地减少边界效应和混合上下文的比例

Cutblur：专为SR任务设计的数据增强方法

算法

对LR图像进行s倍的双三次上采样：CutBlur需要匹配LR和HR的分辨率匹配

image.png

将HR块剪切粘贴到上采样后的LR图像，或者将上采样后的LR图像块剪切粘贴到HR图像上

讨论

  • 为什么Cutblur对SR起作用？
    图像块中的急剧过渡，或混合图像内容，或丢失像素之间的关系，都会降低SR性能 CutBlur在相同内容的LR和HR图像补丁之间执行剪切和粘贴，最小化边界效应（主要来自图像内容之间的不匹配），利用整个图像信息，同时由于随机HR比率和位置的不同样本，它可以享受正则化效果
  • 模型从CutBlur中学到了什么？
    CutBlur防止SR模型使图像过度锐化，并帮助其仅超分辨率必要的区域
    当SR模型在测试阶段输入HR图像时，通常会输出过度锐化的图像，尤其是在边缘位置。CutBlur可以通过在训练阶段直接向模型提供此类示例来解决此问题。
    由于正则化效应，它还增强了其他LR区域的SR性能
  • CutBlur vs 在训练中给定HR输入
    cutblur后的图像作为输入的性能比单独使用HR图像的性能更好：CutBlur更通用，因为HR输入是它的特例（M=0或1）。另一方面，提供HR输入永远无法模拟LR和HR像素的混合分布，因此网络只能学习“如何”，而不是“在哪里”超级解析图像
  • 混合数据增强方法
    为了提高性能，将各种DA方法集成到一个框架中。对于每个训练迭代，模型首先用概率p决定是否对输入应用DA。如果是，它会在DA池中随机选择一种方法。基于我们的分析，我们使用了表1中讨论的所有像素域DA方法，同时排除了所有特征域DA方法。这里，我们将p=1.0设置为默认值。从现在起，除非另有规定，否则我们将使用此MoA策略报告所有实验结果
avatar
文章
阅读
粉丝