EGSDE

EGSDE: Unpaired Image-to-Image Translation via Energy-Guided Stochastic Differential Equations nips 2022

【腾讯文档】实验进度 docs.qq.com/doc/DU2VBcX…

Contribution

• 提出energy-guided SDE，使用预训练SDE进行推理，实现未配对I2I
• 引入两个特征提取器，分别学习与领域无关的特征和特定领域的特征，构造能量函数保留内容信息丢弃风格信息

Method

Score-based Diffusion Models

• forward SDE:
  • $dy=f(y,t)dt+g(t)dw$
• reverse SDE:
  • $dy = [f (y, t) − g(t)^2∇_y log q_t(y)]dt + g(t)d\bar{w}$
• score-based diffusion model:
  • $dy = [f (y, t) − g(t)^2s(y, t)]dt + g(t)d\bar{w}$

EGSDE

• 采用在两个域上预训练的能量函数来指导SDE的推理过程，以实现兼顾realistic and faithful未配对I2I
  • $dy = [f(y, t)−g(t)^2(s(y, t) − ∇_y \epsilon (y, x_0, t))]dt + g(t)d\bar{w}$
  • $\epsilon(y, x, t) = λ_sS_s(y, x, t) − λ_iS_i(y, x, t)$

• Choice of Energy

  • domain-specific 包含风格特征提取器E

    • $S_s(y, x_t, t) = \dfrac{1}{HW}∑_{h,w}\dfrac{E^{hw}_s(x_t, t)^T E^{hw}_s (y, t)}{||E^{hw}_s (x_t, t)||_2 ||E^{hw}_s (y, t)||_2}$
    • 采用余弦相似度鼓励生成器的样本丢弃源领域的风格特征，向目标域风格迁移

  • domain-independent 包含 low-pass filter $E_i$

    • $E_i$会保留样本的整体结构，丢弃局部信息（如：纹理等风格特征）
    • $S_i(y, x_t, t) = −||E_i(y, t) − E_i(x_t, t)||^2_2$

• Solving the Energy-guided Reverse-time SDE

  • $y_t = y_s − [f (y, s) − g(s)^2(s(y_s, s) − ∇_y\epsilon(y_s, x_0, s))]h + g(s)\sqrt{h}z, z ∼ N (0, I)$

Experiment

Plan

• 用扩散模型实现unpaired I2I 损失如何设计
• SDE改成ODE是否可行