3月已半,GAN最近都在整些啥?

230 阅读11分钟

点击上方“机器学习与生成对抗网络”,关注"星标"

获取有趣、好玩的前沿干货!

最近,有一些同学在后台问,“ 做GAN没有想法、还有什么坑可做吗?” 都会建议多去了解一些最新的论文吧~  这次就做个3月来arxiv上几篇GAN论文的速递【注:仅作参考,编者未细读paper,故此文并无推荐意】

1、诗歌创作

MixPoet: Diverse Poetry Generation via Learning Controllable Mixed Latent Space

arxiv.xilesou.top/pdf/2003.06…

作为实现计算机创造力的重要一环,近年来诗歌自动生成越来越受到关注。尽管最近的神经模型在某些衡量诗歌质量的标准上取得了重要进展,但仍然存在多样性差等问题。相关研究表明,不同的因素,如生活经历、历史背景等,都会影响诗人的行文风格,也可以极大地促进诗人创作的多元化。受此启发提出了MixPoet,一种新颖的模型,可以吸收多种因素来创建各种样式,从而促进多样性生成。基于半监督变分自编码器,模型将潜在空间分解为一些子空间,每个子空间都通过对抗训练来确定一个影响因素。通过这种方式,模型学习了可控的潜在变量,以捕获和融合更广泛的、相关的特征属性。不同的因素混合可以生成不同的风格,因此使得生成的诗歌更具区分度。关于中国诗歌数据集的实验表明,MixPoet可以在多样性和质量上同时优于三种先进模型。

                           

2、域的泛化

Deep Domain-Adversarial Image Generation for Domain Generalisation

arxiv.xilesou.top/pdf/2003.06…

机器学习模型通常受domain shift问题困扰,即在源数据集上进行训练和评估时样本数据分布有隔阂。为了克服这个问题,domain generalisation(DG)方法旨在利用来自多个源领域的数据,来使得训练好的模型可以泛化到看不见的domain域。本文中提出了一个基于深度域对抗式图像生成(DDAIG)的新颖DG方法。具体来说,DDAIG由三个组件即label分类器、domain分类器和domain转换网络(DoTNet)组成。DoTNet的目的是将源训练数据映射到看不见的domain。通过学习目标函数来确保生成的数据可以被标签分类器正确分类,而同时能欺骗域分类器。通过生成的未知域的数据,可对源域扩展,而使标签分类器对未知域更具鲁棒性。

 

例如下图,源域只有卡通、自然图像、草图三类数据,通过域转换网络得到类标签不变但域标签已经改变的合成数据,合成数据对源数据扩充后再训练分类器,可以泛化到未知域(如艺术?)的正确分类。

 

3、图像转换

Unpaired Image-to-Image Translation using Adversarial Consistency Loss

arxiv.xilesou.top/pdf/2003.04…

不成对的图像转换是这么一类视觉问题:仅在未配对的训练数据下,找到不同图像域之间的映射表达。循环一致性损失作为一种约束条件被广泛使用于这些问题。但是,由于严格的像素级限制,它无法执行几何更改、移除大物体或忽略无关的纹理。本文提出了一种新的对抗一致性损失:它不需要转换后的图像一定要映射到源数据某一特定图像,而只需保留重要特征即可。这样可以克服了循环一致性损失的缺点。方法在以下三个转换任务达到了SOTA:摘下眼镜,性别转换以及自拍到动画。

 

 

4、虚拟换衣

GarmentGAN: Photo-realistic Adversarial Fashion Transfer

arxiv.xilesou.top/pdf/2003.01…

服装转移问题包括两个任务:学习如何将一个人的身体(姿势,身材,肤色)与他们的衣服(服装类型,形状,样式)分开,生成新的穿着任意服装的同一个人。本文提出GarmentGAN:仅需要两个输入图像,即要穿的时装图像和穿衣人图像;输出是合成图像。为了使生成的图像逼真,采用新颖的方法生成对抗技术。提出的算法在训练过程中结合分割信息和人体关键点信息。与现有方法比,方法改进了生成图像真实性并解决了与遮挡有关的一些问题。

 

 \

5  时序、图

Learn to Generate Time Series Conditioned Graphs with Generative Adversarial

arxiv.xilesou.top/pdf/2003.01…

基于深度学习的方法已被利用建模并生成不同分布下的图graph。但它们通常是基于无监督学习、无条件生成模型,或者仅仅是基于graph-level的上下文,它们不具有丰富的语义node-level的上下文。本文对一个新的时间序列条件图生成问题展开研究:给定多时间序列,去推断一个目标关系图,它对每个时间序列之间的潜在相互关系进行建模(每个时间序列对应一节点)。提出了一种新颖的时间序列条件图生成生成对抗网络(TSGG-GAN)。在合成和真实基因调控网络数据集的实验上证明了TSGGGAN的有效性。

6 新GAN模型

A U-Net Based Discriminatorfor Generative Adversarial Networks

arxiv.xilesou.top/pdf/2002.12…

生成对抗网络(GAN)仍然存在的挑战是:如何生成与真实世界无法区分的、拥有在物体形状上全局和局部自然一致的纹理细节的图像。为此提出一种基于U-Net的鉴别器架构,借鉴了分割领域的想法。所提方法提供全局图像反馈来保持合成图像的全局一致性,也为生成器提供更精细的像素级别反馈。借助鉴别器的像素级反馈,进一步提出一种基于CutMix数据增强方法的、逐像素一致性正则化技术,鼓励U-Net鉴别器将更多精力放在真实和伪造图像之间的语义和结构变化,可进一步增强生成样本的质量。与BigGAN等基准相比,该方法在FFHQ,CelebA和新引入的COCO-Animals数据集达到SOTA水准。

 


公众号近期荐读:

GAN整整6年了!是时候要来捋捋了! 

新手指南综述 | GAN模型太多,不知道选哪儿个?\

数百篇GAN论文已下载好!搭配一份生成对抗网络最新综述!

CVPR2020之MSG-GAN:简单有效的SOTA\

CVPR2020之姿势变换GAN:图像里谁都会劈叉?\

有点夸张、有点扭曲!速览这些GAN如何夸张漫画化人脸!\

见微知细之超分辨率GAN!附70多篇论文下载!\

天降斯雨,于我却无!GAN用于去雨如何?\

脸部转正!GAN能否让侧颜杀手、小猪佩奇真容无处遁形?\

容颜渐失!GAN来预测?\

强数据所难!SSL(半监督学习)结合GAN如何?\

弱水三千,只取你标!AL(主动学习)结合GAN如何?\

异常检测,GAN如何gan ?

虚拟换衣!速览这几篇最新论文咋做的!\

脸部妆容迁移!速览几篇用GAN来做的论文

【1】GAN在医学图像上的生成,今如何?

01-GAN公式简明原理之铁甲小宝篇


GAN&CV 交流群 ,无论小白还是大佬,诚挚邀您加入!\

一起讨论交流!长按备注【进群】加入:

更多分享、长按关注本公众号:\