Unpaired I2I

Unpaired Image-to-Image Translation with Shortest Path Regularization cvpr2023

Contribution

配对的样本对（x1,y1）比错误匹配样本对（x1,y2）距离要短

假设来自不同领域的图像是从跨域共享的latent code space Z 中使用相同的函数 G∗ 生成的，同时通过一个连续域变量 θ 控制属于哪个域
- $x=G^*(z,0), y=G^*(z,1)$
Shared Latent Space
- shared encoder E to extract the latent codes
- $z_x=E(x),z_y=E(y)$
- $L_{kl}=KL(q(z_x)||p(z)) + KL(q(z_y )||p(z))$
Reconstruction
- 在获得共享的潜在空间后，需要将路径从第一个域构建到另一个域
- $L_{rec} = E_x∼P_X ∥G(z_x, 0) − x∥_1$
- $\hat{x} = G(z, 1)$
Translation
- 使用GAN模式区分生成的y和真实y
- $L_{gan} = E_{x∼P_X ,y∼P_Y} ((D(\tilde{x}) − 1)^2 + D(y)^2)$

没有任何正则化的情况下，输入x的语义信息可能会被扭曲甚至丢弃
根据我们的最短路径假设对γ-x的路径长度进行正则化

样本对间距离
- $L(γ_x) =\int^1_0∥J_θ ∥dθ$
- $J_θ$ : Jacobian matrix of the decode G 雅可比矩阵
- $\hat{J_θ} = \dfrac{G(z, θ + h/2 ) − G(z, θ − h/2 )}h$
Multi-layer Feature Path Length
- penalize the path length on multi-layer features
- $\hat{J^l_θ} = \dfrac{G^l(z, θ + h/2 ) − G^l(z, θ − h/2 )}h$