CUT
Contribution
- 提出基于对比学习的图像翻译框架，通过最大化互信息实现对应的像素块映射到学习的特征空间中的相似点
- 在Unpaired image translation中实现单侧翻译，同时提高了质量并减少了训练时间
- 方法甚至可以扩展到每个“域”只有一张训练图像
Related Work
Relationship preservation
输入图像中感知相似的斑块在输出中应该相似，相关工作有DistanceGAN、HarmonicGAN等
Method
CUT只需要学习一个方向的映射，并避免使用逆辅助发生器和鉴别器，节省空间、时间
-
Generation：生成器分为两部分
-
Mutual information maximization
正负样本：正样本匹配的图像块、负样本同一张图片内随机图像块 损失函数：
-
Multilayer, patchwise contrastive learning
采用多层、不同空间位置的特征图块计算对比损失PatchNCE
为了增加负样本数量，可以增加来自其他图片的像素块，externalNCE 损失
- Final objective
Experiments
removing the identity loss [Id], using less negatives [Negs], using only the last layer of the encoder [Layers], and varying where patches are sampled, internal [Int] vs external [Ext].
