自然语言处理

现有的方法在以上的两步各自都可以取得不错的效果，但是很少有人思考针对于不同的数据集到底应该检索多少文档。如果按照某种经验来做，往往会带来不少的噪声，最后得到的结果自然也就是次优的。因此，本文中作者提出了一种自适应的文档减缩模型，它可以根据问题和数据集的大小自动的调整文档检索的数量...

本文是华盛顿大学和艾伦研究所发表在ACL 2018 年上的工作，它主要关注的问题是阅读理解（Reading Comprehension），并提出了一种处理整篇文档作为输入的段落型QA模型。现有的模型虽然可以在短文档QA问题上取得不错的效果，但是模型却并不具有很好的放缩性，即同样的...

本文所表述的内容十分的清晰明了，同样也很简单，即如何使用不同的预训练策略来提升抽取式摘要任务的效果。作者指出：现有的模型在抽取句子使用交叉熵训练模型时，往往只考虑了句子级别的信息，并没有很好的捕获全局或说是文档级的信息，因此对于最后的生成结果也有一定的影响。而大热的预训练模型的优...

本文提出一种针对文本领域的新任务：outline generation，OG，它可以理解为大纲生成或是概要生成（为了方便表述，后续一律使用这种名称）。通过这样更细粒度的任务实现对于文本结构更深层次的理解，以及发现多段落多组成的文档内部的结构信息。因此，我们又可以将OG看做是一种层...

本篇文章所关注的问题是机器阅读理解（Machine Reading Comprehension），即根据查询在给定的文档中寻找相应答案的部分，具体来说是多事实QA（multi-evidence QA）问题。现有的端到端模型在单文档QA问题上往往可以取得不错的效果，即此时文档较短，...

因此对于抽象式方法来说，以上的两步中每一步的效果优劣都对于整体的效果有着显著的影响。如果在显著性句子抽取过程中可以正确的选择出包含主要信息的句子的话，那么在接下来的重写过程中就可以实现在不丢失主要信息的前提下得到流畅性、可读性更好的结果。如果抽象式模型直接对输入的长文档进行处理，...

对于抽取式摘要生成来说，模型最终的任务是为文档中的句子分配对应的标签，从而来表示某个句子是否会出现在最后的摘要中。先前的方法大多依赖于层次化的LSTM来获取句子的表示，然后使用另一层LSTM来预测对应的标签。随着Transformer和预训练模型的出现，事实已经证明了Transf...

看看文章的研究机构就知道这不是一篇简单的文章，本文在之前多种相关的预训练模型的基础上，提出了一种基于DAE的Seq2Seq预训练模型。模型整体上采用标准的基于Transformer的机器翻译模型架构，既和之前的预训练模型存在一定的联系，同时又指出了两种最为有效的对输入加噪的方法，...

金秋十月注定是忙碌的，最近在总结自己的想法并进行代码实现，毕竟毕业才是大事呀，所以也没有时间总结自己看过的文章，结过就攒了一大堆，时间长了细节部分就记不清了，希望在这个月末将其总结出来，同时也希望为下一阶段的工作打好基础。在前面介绍的关于文本摘要生成的文章中，绝大多是的模型仍然是...

Headliner是一个类似于tensorflow_addons、fairseq、OpenNMT的用于构建Seq2Seq模型的开源库，它整体的代码基于tensorflow2.0构建，并提供了关于数据预处理、基准模型和模型评估的API，极大地方便用户快速的构建基准模型，并且允许用户...

Seq2Seq模型已经发展成为了NLP中的一种标准的范式，NLP中的诸多任务皆使用Seq2Seq模型来处理，其中模型可以使用RNN、LSTM、GRU、Transformer和BERT等。相信认真的阅读完上面的三篇教程后，大家对于Seq2Seq以及Seq2Seq + Attenti...

由于大规模、高质量的标注数据集不易获取，因为本文提出了一种新的无监督文本摘要模型。模型的整体思想建立在图结构上，文档中的句子做为图中顶点，句子之间的相似性分数做为边的权值。最后在CNN/Daily Mail、NYT和TTNews三个数据集进行试验证明了模型的有效性，并进一步的显示...

传统的基于Seq2Seq的文本生成模型都是使用自回归方式来逐个的生成词，在每一时刻生成的词不仅依赖于Encoder的上下文向量，同时也依赖于Decoder已生成的部分。模型的训练普遍使用最大似然优化和teacher forcing的方式，同时使用验证困惑度（validation ...

最近被科研按在地上疯狂的摩擦，没有安排时间看文章，没有安排时间总结博客，天天就忙着鼓励自己别放弃了…感觉自己节奏有点乱了，趁着假期前希望把节奏尽快的调整过来吧。下面介绍基于RNN的情感分类的例子并给出tensorflow2.0的具体实现，主要还是对于官方文档的理解，并在其中加入了...

text = f.text = text.sorted_vocab = sorted(word_counts, key=word_counts.vocab_to_int = {w: k for k, w in int_to_vocab.out_text = np.in_text ...

本文作者提出了一种用于关键短语生成的多任务混合学习框架，不同于已有的单纯依赖于抽取式或是生成式模型，该框架实现了两种类型模型的混合训练，通过使用抽取出的关键短语来修改生成过程中copy的概率分布，从而使生成式模型可以更好从文档中识别出重要的部分进行复制。此外为了进一步的提高效果，...

有关GAN的部分可见有关GAN分类中的内容，这里不再赘述。下面主要看一下如何使用tensorflow-2.0来实现一个简单的GAN。cross_entropy = tf.keras.losses.g_optimizer = keras.optimizers.d_optimizer...

对于文本摘要领域来说，已有的抽象式摘要方法（abstractive summarization）广泛的依赖于Seq2Seq模型和配对数据集，以及pointer-generator网络、copy机制和coverage机制等的应用。但在实际的应用场景中，我们并不总是可以拥有配对的数据...

Variational autoencoders（VAE）由Kingma et al.和Rezende et al.在2013年提出，它在图像生成、强化学习和自然语言处理等多个领域都有很广泛的应用。下面的主要内容翻译自《Tutorial - What is a variation...

Auto-encoder输入前馈神经网络的一种，它借助了稀疏编码的思想，目标是借助抽取到的高阶特征来重构输入，而不只是简单的复制。auto-encoder曾经主要用于降维和特征抽取，现在被扩展到了生成模型。Auto-encoder的思想很简单，下面我们来看一下如何用代码实现，这里...