Scenimefy

Scenimefy: Learning to Craft Anime Scene via Semi-Supervised Image-to-Image Translation iccv 2023

为什么读这篇论文

• 伪配对数据的生成、使用

Contribution

• 提出了一种新的半监督的图像翻译框架，设计基于patch对比风格损失来改进风格化和精细细节
• 训练的监督信息来自 结构一致的伪配对数据（语义约束StyleGAN微调策略，具有丰富的预训练先验指导）

Method

我们的目标是在保留底层语义的同时，用细粒度的动画纹理对自然场景进行风格化。

Pseudo Paired Data Generation

• 配对数据有助于建立语义和风格对应关系，从而简化标准的无监督I2I翻译

$G_s$:真实风景图预训练好的StyleGAN
$G_t$:在动漫场景微调的StyleGAN
损失：CLIP Loss、Lpips Loss、PatchNCE Loss

StyleGAN的低分辨率层决定了结构信息，冻结生成器的初始块和注入的初始样式向量，以保持微调期间的空间布局

Semantic Segmentation Guided Data Selection

• pseudo paired data generation问题：存在质量低或结构一致性差的风险，需要进行数据过滤
• 提出语义分割引导的数据选择方案，清除结构一致性较差的低质量样本
• BCELoss：pixel-wise cross-entropy loss 过滤低质量数据

Semi-Supervised Image-to-Image Translation

• 给定源X中的一组真实场景图像{xi}和动画域Y中的一个动画集{yj}，目标是借助伪配对数据集$P=\{x^p_i,y^p_i\}$ 来学习映射G: X→Y

• Supervised Training Branch

  • conditional adversarial loss:
  • StylePatchNCE: patch-wise contrastive style loss for robust supervision

• Unsupervised Training Branch

采用语义关系一致性损失$L_{SRC}$和硬负对比损失$L_{hdce}$进行训练

Experiment

消融