NLP与人工智能

本文主要介绍两种利用 Pointer Network 生成文本摘要的算法，PointerNetwork 在解码时可以依赖于输入的 token，能避免语言生成时的 OOV 问题。

Seq2Seq 模型 Decoder 输出的目标数量等于字典的大小。本文介绍的 Pointer Network 输出字典大小等于输入序列的长度，适合用于求解一些组合优化问题，例如 TSP问题。

ELECTRA 提出了一种新的预训练方法 RTD，训练过程类似 GAN，利用生成器将句子中的单词进行替换，然后判别器判断句子中哪些单词被替换过。ELECTRA 可以达到比 Bert 更好的效果。

目录 | 上一节 (8.2 日志) | 下一节 (9 包)8.3 调试调试建议假设程序崩溃了：那么现在该怎么办呢？阅读回溯信息最后一行是程序崩溃的具体原因：不过，回溯信息并不总是那么易于阅读或理解。专

2020 太过于魔幻，前天还在跟船长一起吃饭的时候说到，2020 年过的太快了，都不知道自己干啥了。 这一年对我来说，是机遇，是挑战。好在于一切都在向好的方向发展。 如果从2020 年元旦算起，那个时候掘金的产品迭代已经停滞大约半年了，在此期间，我们一直处于正常运营的状态，没有…

工欲善其事，必先利其器。 为了让掘友们更好的创作出优秀的内容，我们针对大家对编辑器的反馈和建议，我们对Markdown编辑器进行了全新改造，增加诸多功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，期待您更好的创作。 编辑器第一个版本主要是优化…

在机器翻译任务中，BLEU 和 ROUGE 是两个常用的评价指标，BLEU 根据精确率(Precision)衡量翻译的质量，而 ROUGE 根据召回率(Recall)衡量翻译的质量。

XLNet 采用了 PLM (Permutation Language Model) ，将句子随机排列，然后用自回归的方法训练，从而获得双向信息并且可以学习 token 之间的依赖关系。

Bert 模型体积及计算量都很大，因此有不少针对 BERT 模型压缩的研究，其中模型蒸馏 Distillation 是一种比较好的解决方法，本文介绍两种基于模型蒸馏的 BERT 模型压缩方法。