StarGAN在动漫人物脸部表情转换中的运用

1.论文提出的出发点

• 高质量且带有面部表情标签的动漫人物数据集的缺乏
• starGAN的一个生成器可以实现多个领域的转换的高效性

2.论文的亮点

• 自己整理了一个将近5K的高质量动漫人脸图像数据集。

3.整理数据集的过程

（1）使用爬虫工具gallery-dl4从Danbooru网站爬取所有论文中提到的五个表情标签（happy, sad, crying,surprised，neutral）的图像。并从搜索结果中排除“ manga”关键字，保证数据集为RGB图像。

（2）使用“ lbpcascade animeface” 预训练的卡通人脸检测器来检测图片中的脸部。丢弃检测到的置信度小于80％的面部。由于图片中的所有面孔不一定都与图像标签相对应，因此我们应用启发式方法并丢弃检测到具有6个以上面孔的图像

（3）通过第二步，可以知道眼睛，嘴巴和鼻子的位置。因此，旋转图像，使眼睛的中心位于同一条水平线上，并使用眼睛长度乘以1.35的距离来选择脸部周围的方框。

（4）我们手动删除一些错误的图片（比如在检测中或者剪裁后 标签和图片中的表情不符的图片，这是由于当图片中可能有多个人脸时，因此分配的标签可能仅对其中一些有效）。

为了简化删除错误图片的耗时过程并使错误的标签更改为正确的标签，实现了一个移动应用程序

包括一个Web服务，该服务提供一个API（用于为每个图像指定最终标签或将其标记为误报），以及一个移动应用程序前端，以便于专家使用和简化API的使用

4.网络模型

在StarGAN的基础上，为了增强训练的稳定性，尝试增加bottleneck layers 的数量（从六个增加到九个），以及将上/下采样层的数量从两个增加到三个来构建一个更大的生成器网络。并给出了每次迭代损失函数，证明经过此更改，网络更加稳定。