ELECTRA 提出了一种新的预训练方法 RTD，训练过程类似 GAN，利用生成器将句子中的单词进行替换，然后判别器判断句子中哪些单词被替换过。ELECTRA 可以达到比 Bert 更好的效果。

在机器翻译任务中，BLEU 和 ROUGE 是两个常用的评价指标，BLEU 根据精确率(Precision)衡量翻译的质量，而 ROUGE 根据召回率(Recall)衡量翻译的质量。

XLNet 采用了 PLM (Permutation Language Model) ，将句子随机排列，然后用自回归的方法训练，从而获得双向信息并且可以学习 token 之间的依赖关系。

Bert 模型体积及计算量都很大，因此有不少针对 BERT 模型压缩的研究，其中模型蒸馏 Distillation 是一种比较好的解决方法，本文介绍两种基于模型蒸馏的 BERT 模型压缩方法。

本文介绍 RoBERTa 和 ALBERT。RoBERTa 在更大的数据集和最优的参数中训练 BERT，提升性能；ALBERT 主要通过共享参数和 Embedding 分解对Bert 进行压缩。

Transformer 在学习长距离依赖信息的能力仍然有一些限制，Transformer-XL 是一种语言模型，可以提高 Transformer 学习长期依赖信息的能力。

OpenAI GPT 是在 Google BERT 算法之前提出的，与 BERT 最大的区别在于，GPT 采用了传统的语言模型进行训练，即使用上文预测下文，而 BERT 同时使用上下文进行预测。

BERT 模型是 Google 在 2018 年提出的一种 NLP 模型，Bert 基于 Transformer 并在 11 个 NLP 领域的任务上都刷新了以往的记录。

本文主要参考Coursera上 国立高等经济大学的自然语言处理课程 和 吴恩达老师的的机器学习课程。 one-hot 可以说是机器学习领域最常见的数据表示形式了。 还是以 上述内容为例，对于 我爱自然语言处理 这句话 tokenization 化之后得到了三个 one-hot …