LinkGAN

LinkGAN: Linking GAN Latents to Pixels for Controllable Image Synthesis iccv 2023

【腾讯文档】实验进度 docs.qq.com/doc/DU2VBcX…

为什么读这篇论文

• 实现区域编辑，主要是眼睛的问题，同色以及形状类似

Contribution

• 提出了一种用于 GAN 训练正则化器，明确地将潜在空间的某些轴链接到合成图像中的像素块，有助于GAN局部生成控制
• LinkGAN适用于 2D 图像生成，充分提高了图像局部可控性，且几乎不会损害图像生成性能
• LinkGAN正则化器与GAN兼容，并保持真实图像的可编辑性

Method

Linking Latents to Pixels

以往工作表明潜在空间的某些子空间可以控制输出图像的局部语义信息。然而，局部区域与潜在空间指定轴之间缺乏明确的联系。为此，我们提出了一种新的正则化器，明确地将轴链接到合成图像的任意分区。

• Partition of latent codes and images

  • intermediate latent vector $w \isin R^{d_w}$, image $\hat{x}=G(w)$
  • 把w分成K部分$w=[w_1,w_2,...,w_k]$, 那么对应的生成图片中相应的区域$x = [x_1,x_2,...,x_k]$
  • 目标：让latent fragment只控制对应区域的x生成
  • 

• Learning objectives：

  • $w_c^i = [w_1,..., w_{i−1}, w_{i+1}, . . . , w_K ]$
  • 我们可以随机扰动$w_i$和$w^c_i$，然后分别最小化$x^c_i$和$x_i$的变化，期望$w_i$只控制$x_i$，几乎不影响$x^c_i$，反之亦然。
  • $p_i$ sampled from a standard Gaussian distribution
  • $x_2 = G^′_w(w_i, αp_i) ≜ G([w_1, . . . , w_{i−1}, w_i +αp_i, w_{i+1}, . . . , w_K ])$
  • $L_i=|| M_i ⊙ (G^′_w(w^c_i , αp^c_i ) − G(w))||_2$

  Loss

Experiment