这是我参与11月更文挑战的第2天，活动详情查看：2021最后一次更文挑战
Unsupervised Sketch-to-Photo Synthesis
Abstract
将无监督的草图到照片合成分解为两个阶段的翻译任务:首先从草图到灰度照片的形状转换，然后从灰度到彩色照片。且整合了自监督去噪和注意力模块来处理抽象和风格变化。 提出了两阶段的无监督模型。
Introduction
- 草图 to 灰度
- Motivation:不是简单的提取草图的边缘，因为手绘和真实物体有差异，需要做形状矫正。启发：单字形状恢复可以借鉴
- Method:引入自监督学习目标和注意力模块
Related Work
Two-Stage Sketch-to-Photo Synthesis
3.1 shape translation
- 引入自监督任务，作者通过在原始草图上添加不相关信息(噪声笔划和其他草图的patch)来构建任务，该任务的目标是通过模型重建原始干净的草图。作者构建了一个包含密集笔画的mask集合，并随机抽取覆盖在原始草图上来模拟真实场景的噪声。并且作者还从其他草图中随机裁剪patch覆盖到当前草图以模拟真实噪声。
- 注意力机制引入的原因是基于草图中大部分地方是空白的，模型本能地会更关注笔划密集的地方，但这对恢复整体轮廓是不利的，所以引入attention map A，用于调整特征图的权重，主要是抑制模型对笔划部分的关注。调整前后的特征图权值如下图所示：
3.2 Content Enrichment: Grayscale G → Color I
任务定义为风格迁移，使用encoder-decoder结构。作者认为输入的灰度图像G和输出的彩色图像I在CIE lab空间中应该一致。(为什么？？)
what is CIE lab?
Lab模式是由国际照明委员会（CIE）于1976年公布的一种色彩模式。是CIE组织确定的一个理论上包括了人眼可见的所有色彩的色彩模式。Lab模式弥补了 RGB与CMYK两种彩色模式的不足，是Photoshop用来从一种色彩模式向另一种色彩模式转换时使用的一种内部色彩模式。Lab模式也是由三个通道组成，第一个通道是明度，即“L”。a通道的颜色是从红色到深绿；b通道则是从蓝色到黄色。在表达色彩范围上，最全的是Lab模式，其次是RGB模式，最窄的是 CMYK模式。
为了提高生成多样性，作者引入condition module将参考图片作为指导，通过调整特征图统计信息的方式，具体公式为：
