NLP与人工智能

本文主要介绍两种利用 Pointer Network 生成文本摘要的算法，PointerNetwork 在解码时可以依赖于输入的 token，能避免语言生成时的 OOV 问题。

Seq2Seq 模型 Decoder 输出的目标数量等于字典的大小。本文介绍的 Pointer Network 输出字典大小等于输入序列的长度，适合用于求解一些组合优化问题，例如 TSP问题。

ELECTRA 提出了一种新的预训练方法 RTD，训练过程类似 GAN，利用生成器将句子中的单词进行替换，然后判别器判断句子中哪些单词被替换过。ELECTRA 可以达到比 Bert 更好的效果。

TinyBERT 是一种对 BERT 压缩后的模型，由华中科技和华为的研究人员提出。TinyBERT 主要用了模型蒸馏的方法进行压缩。

在机器翻译任务中，BLEU 和 ROUGE 是两个常用的评价指标，BLEU 根据精确率(Precision)衡量翻译的质量，而 ROUGE 根据召回率(Recall)衡量翻译的质量。

XLNet 采用了 PLM (Permutation Language Model) ，将句子随机排列，然后用自回归的方法训练，从而获得双向信息并且可以学习 token 之间的依赖关系。

Bert 模型体积及计算量都很大，因此有不少针对 BERT 模型压缩的研究，其中模型蒸馏 Distillation 是一种比较好的解决方法，本文介绍两种基于模型蒸馏的 BERT 模型压缩方法。

本文介绍 RoBERTa 和 ALBERT。RoBERTa 在更大的数据集和最优的参数中训练 BERT，提升性能；ALBERT 主要通过共享参数和 Embedding 分解对Bert 进行压缩。

Transformer 在学习长距离依赖信息的能力仍然有一些限制，Transformer-XL 是一种语言模型，可以提高 Transformer 学习长期依赖信息的能力。