持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第8天，点击查看活动详情

摘要

• 问题：GAN产生的虚幻细节会破坏图像的真实感
• 解决：
  1、允许估计的图像块在训练过程中动态寻找值得信赖的监督代理，目前方法大多依赖于预定义的单LR-HR映射，不够灵活
  2、区域感知对抗学习策略，指导模型专注于自适应生成纹理区域细节
  3、构建4K数据集

引言

• 问题
  1、过渡平滑：一对一图像的MAE/MSE损失
  2、伪影：GAN训练的不稳定性
• 解决
  1、区域感知对抗性学习策略
  2、解决伪影问题
  3、网络以不同方式对待平滑和纹理丰富的区域，只对纹理丰富区域进行对抗性训练，分离训练鼓励网络更多关注具有丰富细节的区域，而避免在平滑区域上生成不必要纹理
• 贡献
  1、提出Beby-GAN，其中的一对多损失能生成更丰富可信的纹理
  2、提出区域感知对抗学习策略
  3、提出UH4K数据集

Beby-GAN

框架

生成器：预训练RRDB模型

Best-Buddy损失

约束

约束1：BB图形块g*接近GT图像块，这依赖于自然图像中的多尺度自相似
约束2：BB图像块g*接近SR图像块，SR图像块是一个合理的预测，因为生成器很好地被初始化

BB损失

1、GT被不同尺度（2，4）下采样，得到3层的图像金字塔（2，4，GT）

2、SR图像与对应的GT图像展开为小块，GT部分构成该图像的监督候选数据库G

3、寻找g*：对于一个生成的超分图像块，从G中寻找与此超分块及其对应GT块最接近的图像块

4、计算BB损失：当前待超分图像块与g*之间的L1损失

BP（反向投影）损失

1、对SR图像进行双三次降采样
2、计算BP损失：降采样图像与LR图像之间的L1损失

区域感知对抗学习策略

• 思想：根据局部像素统计将丰富纹理区域与平滑区域区分开来，并仅将纹理内容提供给鉴别器，平滑区域无需对抗性训练即可轻松恢复
• 步骤
  1、将GT图像使用K^2核展开，并为每个图像块计算标准差std

2、使用上述式子得到二进制掩码M，δ 为预定义的阈值，高纹理区域被标记为1，平坦区域为0

3、SR图像与GT图像都与M相乘，然后送入鉴别器

其他损失函数

感知损失：计算特征相似性
对抗损失：Ra-GAN：估计GT比SR更真实的概率