自然语言处理

整个blog的主要内容按如下的八个神经网络在NLP中的里程牌逐个阐述，因此对于很多传统的非神经网络的方法并没有太多提及，但并不表示它们不重要，只是这里的侧重不同而已。source：http://ruder.io/content/images/size/w2000/2018/10/...

注意力（Attention）在近些年成为深度学习领域一个极其受欢迎的概念，同时作为一个强有力的工具也被集成到了各种模型中来处理相应的任务。下面将介绍注意力的起源、不同的注意力机制、各种使用注意力机制的模型，例如transformer、SNAIL。从某种程度上看，注意力是人在处理过...

在Text-to-Image的任务中，我们需要根据对图像的描述文本来生成和它语义一致的图像，同时也要保证生成的图像足够真实。更多Text-to-Image的论文可见：http://bbs.cvmart.在上述的诸多方法中，大多数将描述文本作为输入传入模型，希望生成和描述文本语义一...

我们熟悉的Transformer就是变形金刚，因此可以说擎天柱就是一个Transformer，但是这里要说的并不是变形金刚，而是谷歌在发表在NIPS-2017上的《Attention Is All You Need》中提出的强大的特征提取器Transformer。下面主要从Att...

论文地址：https://arxiv.org/abs/1709.GitHub：https://github.space表示将不同的实体学习到一个空间中。提出了一种新的嵌入学习算法，可以在不同的问题上进行泛化 可以实现不同类型的嵌入之间的相互比较。StarSpace包含一系列的学习...

本文作者创新性的将对抗学习（Adversarial learning）和生成对抗网络（Generative Adversarial Networks）组成一个新的模型，将生成器（Generator）、判别器（Discriminator）和对抗攻击者（Adversarial att...

从本文的题目中可以看出，作者将Attention model中的Self-Attention和生成对抗网络（Generative Adversarial Networks,GAN）结合到了一起，这样做解决了GAN中的什么问题呢，或是使用注意力机制有什么优势呢？下面我们就来看一下文...

传统的解决视觉显著性预测的工作往往只是基于单方面的设计针对于显著性预测的损失函数，这样的方式得到的结果往往在选定的度量方式上表现良好，但可能换种度量方式来看，表现就不一定也是好的了。因此，作者将GAN的思想引入到了视觉显著性问题中，提出了一种基于数据驱动度量的显著性预测方法——S...

这篇文章属于Text-to-Image一类，它所解决的主要任务是如何根据文本的描述生成相应的图像，不仅要求生成的图像要清晰真实，而且更要求其符合给定的文本描述。如上图所示，SDGAN和之前的StackGAN、AttenGAN进行了对比，从生成的图像可以直观的看出SDGAN的结果更...

生成对抗网络自从Ian Goodfellow在2014提出后，它作为一种新的以无监督方式学习目标分布的深度生成模型，已经应用到了深度学习的很多方面，比如生成图像、图像修复、风格迁移……，但是GAN的训练过程存在着很多的问题，其中最显著的一个就是训练的难度很高，因为训练过程中涉及到...

首先，我们从题目中可以看出，CollaGAN最直接的目的是用于缺失图像的估计，但是作者指出，对于同一个域（Domain）的图像来说，它们都是满足同样的低维流形，所以关于缺失图像的估计过程就可以转换为图像的处理过程，即相当于实现Image-to-Image的功能。the image...

是不是特别的相似呢 !..持续懵逼中…但是既然都是顶会论文，必然会有不同，所以我又重新研读了一下StarGAN的论文，希望可以明白两者的不同之处。首先我们看一下StarGAN是怎样的一个GANs：它解决的是关于多域（Domain）之间图像的转换问题，但是我们知道，在此之前已经有例...

A collection of image-to-image papers.Papers are ordered in arXiv first version submitting time (if applicable).Feel free to send a PR or is...

从2014年GoodFellow发表了《Generative Adversarial Nets》后，生成对抗网络（GAN）逐渐称为深度学习领域一个极其热门的方向，很多的人前赴后继的投入到了GAN的研究中。有的人针对于最初提出的标准GAN中所存在的一些问题做出了改进，提出了一系列G...

昨天晚上在看同样是openai一个人写的一篇介绍性的文章《From GAN to WGAN》时，其中写到了一些关于提升标准GAN训练方面的技术，如feature matching、minibatch discrimination……，就想到这篇放在文件夹中很久但一直忘记看的文章。...

这篇论文中作者提出了一种使用GAN进行估值来完成填补缺失值工作的GAIN，基本原理和标准的GAN相似，不同的在于根据具体问题所做的架构方面的改变。严格来说，它并不是对于GAN的某种改进，只是将其用在了缺失值估值方面，但还是有很多方面有借鉴的地方。当然实现的细节并不是这么简单，具体...

https://blog.csdn.DKL​(pθ​∥pr​)的影响，因此为了更快的收敛，生成器会倾向于生成一些已经骗过判别器的样本，这样的话，样本的多样性就会下降，从而造成了**模式坍缩（model collapse）**的问题。DKL​(pθ​∥pr​)的影响时就会出现模式坍...

本文关注的是如何生成较高分辨率的图像这个传统的GAN无法解决的问题。相关的GAN的变体也有很多，像BigGAN、StackGAN、PGGAN、SRGAN等，而本文作者提出的是一种在拉普拉斯金字塔框架下使用级联卷积网络，从粗略到精细逐步生成高质量的自然图像的GAN的变体，称为LAP...

https://cloud.tencent.https://blog.csdn.https://blog.csdn.https://www.jianshu.http://www.sohu.http://www.sohu.http://www.sohu.http://www.cha...