自然语言处理

BERT等在大型语料库上进行预训练的语言模型在NLP的语言理解任务（例如：情感分类、自然语言推理和 SQuAD 阅读理解）上取得了不错的效果，用户可以根据具体下游任务的数据集进行fine-tune来使得模型更加适合具体任务的需求。但是由于BERT是基于双向的Transformer...

有关Text-to-Image的文章已经看了很多了，但是大多都是根据单句描述生成高质量的图像。本文提出了一种基于交互式对话的图像生成任务，它不仅要求模型可以根据文本描述生成相应的图像，还可以实现在多轮对话中根据后续的对话对生成图像进行不断修改。由于任务的特殊性，现有的数据集难以满...

ACL 2018 [《Retrieve,Rerank and Rewrite: Soft Template Based Neural Summarization》](https://www.aclweb.org/anthology/P18-1015)ACL 2019 [BiSET...

抽象式摘要生成任务目的是从原始输入文本中生成一段较短且精炼的可以表述原文大意的总结性文本，它不仅包含原文中存在的词或是短语，同时还可能生新的的短语和句子。本文是采用GAN和RL的结合来解决离散数据的处理任务，G接受原始输入文本生成一段摘要，然后和真实摘要共同输入到D中，D这里作为...

对于抽取式摘要生成模型来说，主要任务是从源文档中抽取最可能句子组成摘要。因此一种方法是将其看作语句标注任务，对于可能出现在最终摘要的句子标注1，否则标注0。而在本文中作者将其看作是语句排序任务，然后使用ROUGE的评估结果通过强化学习进行模型的优化，排名越靠前的句子越可能出现在摘...

基于Encoder-Decoder的抽象式摘要模型已经可以取得不错的效果，作者在本文中希望通过计算摘要中不同单元（unit）和文档之间的交叠来判断它的抽象性（Abstractivenes）。经过实验发现，许多的抽象式模型生成的摘要的抽象性趋近于抽取式模型的效果，并且作者只使用简单...

这篇文章是首次使用神经网络来做抽象式摘要生成工作，提出的模型也就是后续常见的基准模型TextSum。p(yi+1​∣x,yc​;θ)。W，V，U，E是enc网络的参数。F表示输入端的词嵌入矩阵。 l层的卷积核。 它将Bag-of-Words中的的 uniform distribu...

这篇论文来自ACL 2019 的《Searching for Effective Neural Extractive Summarization:WhatWorks and What’s Next》，它并没有提出一个新的模型还是新的想法，而是针对目前在抽取式摘要生成领域中所存在问...

在抽取式摘要生成中，模型可以看作一个文本二分类器，判断文档中的的每条语句是否会出现在最终的摘要中，最后将会出现在摘要中的句子组合成最终的结果。而在抽象式摘要生成中，模型需要根据文档中不同语句的表述生成最终的文档，而不只是简单的进行语句的直接抽取。抛开模型不谈，首先考虑一下人是如何...

2018年是NLP发展中十分重要的一年，ELMO、BERT、GPT等强大的预训练模型的出现，大幅度的提升了诸多NLP任务的效果。同时基于BERT的改进模型也如雨后春笋一般冒了出来，例如百度的ERNIE和清华大学的ERNIE等。那么作为一个没有卡的穷学生如何也赶上这波潮流，充分的借...

本文属于NLP的文本摘要任务，采用的是生成式摘要。encoder的过程中在计算每一个词的向量表示或者隐层状态时仅仅考虑了该词之前的一些词，导致了次优化；UNK的问题（就是不在词表范围的词）。目前解决UNK的方法大多是通过增大词表来最小化该问题，但这样会占用大量存储空间和解码时间。...

GAN已经在视觉领域取得了斐然的成就，它可以以一种直观而又精妙的方式生成高质量的图像，逐渐遮住了Auto-encoder、VAE等生成模型的风光，并且在近几年的顶会上相关的论文层出不穷。在视觉领域，我们可以使用GAN完成图像生成、图像修复、风格迁移、Image-to-Image、...

R2GAN全称Retrieval Generative Adversarial Network，它实现了根据文字描述来生成图像的传统任务，但这里不同之处在于做的是根据食谱来产生相应的食物的图像，想法很是新奇呀~作者认为通过这样的方式可以以一种对抗的方式学习兼容的跨模态的特征，并且...

本文完成的工作主要是根据具体文字描述来操纵行人图像，改变行人的外观。提出了一种基于自然语言描述的人的图像处理新方法提出了一种基于GAN的人体姿态推理网络，可根据文本描述生成人体姿态提出了一种基于文本引导的生成行人图像两阶段框架，通过引入基于注意力机制的上采样和多模态损失，建立图像...

本文主要完成的任务在中间过程中使用布局（Layout）来帮助生成具有多个实体的复杂布局的图像。Layout2Im的基本原理是：给定一个粗粒度的布局信息，主要包括边界框（bounding box）和类别（categories）,模型就可以在指定的位置生成指定类别的图像，并且在一定程...

StackGAN++是StackGAN同一团队针对StackGAN所存在的一些问题所提出的改进版本，因此在文中也称为StackGAN-v2，自然之前的StackGAN就是StackGAN-v1。本文是发表在IEEE Trans上，主要是在《StackGAN:Text to Pho...

下面来看一下我们用pytorch如何在MNIST数据集上实现GAN，以下的代码来源于pytorch-GAN。# 2 parser = argparse.# 3 parser.# 4 parser.import torchvision.from torchvision.from t...

本文完成的也是Text-to-Image的工作，但是如果直接完成输入文本空间到生成图像像素空间的映射，由于数据的高维性，将很难找到合适的映射方式。因此作者在text-to-piexl中间加了几步，将整个任务分解为多个子任务多步进行。具体的效果如下所示：用户输入“People ri...

本文所提出的HDGAN从文章的名字我们也可以看出任务的主要关注点，那就是如何产生高质量或高分辨率的图像。256×256的高分辨率图像，并不是目前常见的end-to-end的风格。因此，作者在本文中提出了一种称为伴随层次嵌套对抗性目标（accompanying hierarchic...

之前已经介绍过的很多关于Text-to-Image的相关文章，例如MirrorGAN、StackGAN、SDGAN等，其他相关的paper会在后续时间依次给出总结。而这些Text-to-Image的模型都是基于输入的一句话生成对应的图像，希望生成图像在足够逼真的前提下，同时尽可能...