Unpaired Image-to-Image Translation 之 UNSB

Unpaired Image-to-Image Translation via Neural Schrödinger Bridge

Contribution

• 确定传统Schrödinger bridges在图像翻译任务中失败的原因是数据纬度大、样本空间较为稀疏
• 提出了Unpaired Neural Schrödinger Bridge，它包括对抗性学习和正则化两个组件缓解curse of dimensionality问题
• UNSB 通过健全性检查，这提供了证据表明它对维度诅咒具有弹性。此外，UNSB 在各种图像到图像翻译任务中是成功的，而之前的 OT 方法失败了。

Related Works

• Schrödinger bridges (SBs，薛定谔桥)： a subset of SDEs，解决了熵正则化最优传输 (OT) 问题，实现两个任意分布之间的转换。同时，出现一些通过深度学习求解 SB 的方法。

Method

Schrödinger Bridges and the Curse of Dimensionality

• Schrödinger bridges problem（SBP） solves：

实现公式：stochastic control formulation 、conditional flow matching (CFM) formulation

• stochastic control formulation 满足3式，描述Schrödinger bridges的SDE的漂移具有最小的能量。 Schrödinger bridges的优点：首先，{xt}是一个马尔可夫链，其次，{xt}收敛到τ→0的最优传输ODE轨迹。直观地说，τ控制轨迹{xt}中的随机性量。

Unpaired Neural Schrödinger Bridge (UNSB)

根据马尔可夫链模拟离散的Schrödinger bridges，从t0=0，到tN=1

• Self-similarity of SBs

• Generation and Training 生成：

训练： 优化损失：Schrödinger Bridge优化目标，其中H是熵函数

对抗损失：衡量生成图片和原始目标图片的分布差异，本文采用Markovian discriminator 在patch级别区分样本

正则化损失：用正则化增强UNSB目标，强制生成器网络满足预测目标样本x1与原始样本x0之间的一致性。 R 是一个标量值可微函数，它量化了其输入之间相似性的特定应用度量。R 反映了两个图像之间相似性的归纳偏差。

Experiments