Image Translation之 Decent

Decent

Unpaired Image-to-Image Translation with Density Changing Regularization (nips2022)

Contribution

• 本文提出了一种在没有配对样本的情况下，从源域到目标域转换图像的方法，简单高效保留样本原有的语义信息
• 提出密度变化正则化（源域高密度的图像块应该映射到另一个域中高密度的图像块），实现方式十分简洁：构造两个密度估计器，对patches的密度变化variance惩罚
• 在许多数据集上超越了现有的最先进方法，并且训练时间是sota模型的56%-86%更短

Related Work

• 循环一致性损失
• 对比学习机制

Method

整体采用GAN架构

Density Changing Regularized Unpaired Image Translation

• patch-level image translation：在patch角度计算特征图的密度

  生成器每层特征图：$m^l(x)=G^l(x) \isin R^{c* h * w}$

  patches 表征：$p^l(x) \isin R^{hw * c}$

• density estimators: autoregressive flows $f^l_{X} , f^l_{Y}$

  density estimators loss:

  

• density regularization 保证源域高密度patch与目标区高密度patch相匹配

Loss

Experiments