NiceGAN

Reusing Discriminators for Encoding: Towards Unsupervised Image-to-Image Translation cvpr 2020

【腾讯文档】实验进度 docs.qq.com/doc/DU2VBcX…

为什么读这篇论文

• 希望对判别器进行改造，不止进行判断图片真假

Contribution

• 提出了一种新的判别器的作用，即重用判别器对目标域的图像进行编码
• 针对传统GAN训练过程中鉴别器的重用会产生不稳定性的问题，提出了一种简单而高效的解耦训练范式

Method

No Independent Component for Encoding

NICE-GAN重用鉴别器进行编码，为训练提供了效率和有效性的优势

• 将判别器D分为 编码E 分类C两部分
• 分类C模块：采用多尺度结构来增强表达能力
• 编码E模块：存在于翻译和判别的训练循环中，使其难以训练。因此，提出了一种解耦的NICE-GAN训练流程

Architecture

• Multi-Scale Discriminators
  • multi-scale Discriminators 将输入图像的不同层的特征图送入不同尺度的分类器中进行判别
  • residual attention mechanism 学习注意力向量w，计算每个特征映射的重要性。
    • $a(x) = w × E_x(x) = (w_k × E^k_ x(x))^K_{K =1}$
    • $a(x) = γ × w × E_x(x) + E_x(x)$
    • 利用$a(x)$计算的参与特征进行后期分类

Decoupled Training

• Loss

  • 编码器E不仅是鉴别器D的一部分，而且还被作为生成器G的输入，如果应用传统的对抗性训练，它将造成不一致。为了克服这个缺陷，将E的训练与生成器G的训练解耦
  • Adversarial loss
    • 
    • 最大化GANLoss时，$E_x$ 固定，$E_y$训练
    • 最小化GANLoss时，$E_x$ $E_y$ 都固定
  • Reconstruction loss
    • 
    • 训练时$E_x$ 固定
  • Cycle-consistency loss
    • 
    • both Ex and Ey are also frozen
  • Full objective

Experiment