自然语言处理

预训练模型的出现对于NLP各个子领域都具有里程碑式的意义，不管是在文本分类，还是在阅读理解，甚至凡是和文本数据相关的任务都想着使用预训练模型来解决。尤其是以BERT为代表的众多模型的思想，甚至被推广到了CV和语音领域的任务中。那么如何对现有的诸多预训练模型做合理的分类，尽力弄清楚...

这是一篇发表于今年ACL上的文章，初看标题就很吓人，看完之后觉得可以将其归为标题党一族。本文和**EMNLP 2018 Don’t Give Me the Details, Just the Summary! Topic-Aware Convolutional Neural Ne...

合成高分辨率并且真实的图片在机器学习是一个一直存在的挑战。在本文中我们引入新的方法，来提高用于图像合成的生成对抗网络（GANs）的训练。128×128像素的样本并展示出了全局一致性。我们通过扩展之前用于图像质量评估的工作，来提供两种新的分析方法来评估以类为条件的图片合成模型中，生...

这一讲承接了上一讲关于Transformer的部分，依次介绍了基于Transformer的多个模型，包括ELMO、BERT、GPT。因为上述的模型主要是应用在NLP中，因此首先我们必须清楚如何将离散的文本数据喂给模型，即如何用向量的方式来表征输入到模型的中的文本数据。apple=...

文本摘要（Text Summarization）作为NLP中一个重要的子任务一直以来都受到了广泛的关注，虽然问题本身的定义很简单且直观，但目前已有的模型或方法得到的结果并不理想。直到最近各种预训练模型的出现在一定程度上提升了评估指标的数值，并且不管是针对于长文档还是普通的短文档，...

文本分类（text classifition）可以简单的分为二分类问题和多分类问题，现在的文本分类相挂钩的任务往往解决的都是前者，而当类别数较少时，多分类问题仍然可使用one-vs-all的方法将多分类问题转换为二分类问题处理。而本文所关注的是极端多分类（extreme mult...

本文将使用pytorch和pytorchtext实现文本分类，使用的数据集为IMDB。import torch.import torch.nn.nlp = spacy.torch.torch.cuda.torch.backends.cudnn.device = torch.dev...

根据 BERT and Knowledge Distillation关于知识蒸馏的介绍，我们已经知道了其的定义和基本流程，下面通过例子来具体看一下如何用代码来实现。import matplotlib.print (tf.本例子依赖于Tensorflow2.0，数据集为MNIST，...

知识蒸馏（Knowledge Distillation,KD）是想将复杂模型（teacher network）中的暗知识（dark knowledge）迁移到简单模型（student network）中。一般来说，老师网络具有强大的能力和表现，而学生网络则更为紧凑。通过知识蒸馏，...

BERT等预训练模型除了在自然语言处理中直接应用外，它们还可以应用于任何和文本表示相关联的领域任务中。神经排序模型借助深度神经网络的表示能力来增强项表示（term representation），从而提升排序模型的性能。因此，随着表示能力更好的预训练模型的出现，将预训练模型整合到...

从BERT出现到现在的广泛使用，以BERT为代表的预训练模型所提出的pre-traing + fine-tune两阶段的方法逐渐成为了很多涉及文本数据领域处理问题的新范式，例如文本分类、阅读理解、数据增广、问答系统和信息检索等。同时为了更好的提升BERT在所处理任务上的性能，以及...

从ELMO、BERT和GPT到如今多种多样的预训练模型的横空出世，pre-training + fine-tune逐渐成为了NLP中建模的新范式，众多研究人员也不断的针对于Transformer和预训练做出改进，其中包括对Transformer本身结构的改进、预训练策略的调整、预...

在NLP的发展历程中，以Word2Vec、Glove和FastText为代表的静态词向量为文本在神经网络中的表示提供了一种强有力的工具，同时借助以卷积神经网络和循环神经网络为基础的的模型，在解决情感分析、文本分类等各项任务中得到了很大的提升。最近几年，随着基于双向LSTM的ELM...

就在这几天微软发布了一款参数量多达170亿的史上最大的自然语言生成模型 Turing-NLG，在多种语言模型基准上均实现了SOTA。值得关注的是Turing-NLG在文本摘要上的表现，由于它已经非常善于理解文本了，因此不需要太多的配对数据就可以实现比已有模型更好的效果。PEGAS...

本文由腾讯AILab和香港中文大学联合发表，文章关注的问题为自然语言理解的中的关键短语（keyphrase）生成问题，另外所研究的场景是更为常见与广泛的社交媒体（social media）。随着网络技术和硬件设备的发展，人与人之间的沟通逐渐的变得更加的便携和简易，而且twitte...

这是GermEval 2019 Task 1 – Shared task on hierarchical classification of blurbs的一个实验性文章，文中所关注的问题总体上来说属于文本分类，但根据所使用的数据集具体来说是一个关于层次化标签的文本多分类任务。根...

Reading Comprehension，RC：模型需要根据给定的问题和对应的输入文档找出答案所在，而且根据问题所对应文档的数目可分为single-hop reasoning和multi-hop reasoning。本文所关注的问题便是multi-hop open-domain...

本文所关注的是阅读理解中的多文档输入问题，即如何根据问题在给定的多个输入文档中找到对应答案的区域。retriever：从给定的多个输入文档的多个段落中找到可能包含答案的部分，从而减小搜索空间reader：从检索到的包含答案的多个段落中确定具体的区域，即答案所在部分的起始和终止索引...

这是一篇发表于今年EMNLP上一篇关于文本理解的文章，更准确的来说应该是解决NLP中的短文本语义匹配和神经信息检索（neural information retrieval，NIR）中共同存在的语义匹配问题。NLP中的很多任务的中间环节或是基本原理都会多多少少的涉及到文本语义匹配...

本文解决的仍然是QA问题中基于RNNs架构的模型难以解决的一些问题和局限性，同时借着当时Transformer的热潮，提出了一种称为Fully Attention Based Information Retriever（FABIR）的QA模型，它可以简单的理解为Transform...