NLP与人工智能

本文主要介绍两种利用 Pointer Network 生成文本摘要的算法，PointerNetwork 在解码时可以依赖于输入的 token，能避免语言生成时的 OOV 问...

Seq2Seq 模型 Decoder 输出的目标数量等于字典的大小。本文介绍的 Pointer Network 输出字典大小等于输入序列的长度，适合用于求解一些组合优化问题...

ELECTRA 提出了一种新的预训练方法 RTD，训练过程类似 GAN，利用生成器将句子中的单词进行替换，然后判别器判断句子中哪些单词被替换过。ELECTRA 可以达到比 ...

TinyBERT 是一种对 BERT 压缩后的模型，由华中科技和华为的研究人员提出。TinyBERT 主要用了模型蒸馏的方法进行压缩。...

目录 | 上一节 (8.2 日志) | 下一节 (9 包)8.3 调试调试建议假设程序崩溃了：那么现在该怎么办呢？阅读回溯信息最后一行是程序崩溃的具体原因：不过，回溯信息并...

2020 太过于魔幻，前天还在跟船长一起吃饭的时候说到，2020 年过的太快了，都不知道自己干啥了。 这一年对我来说，是机遇，是挑战。好在于一切都在向好的方向发展。 如果从...

工欲善其事，必先利其器。 为了让掘友们更好的创作出优秀的内容，我们针对大家对编辑器的反馈和建议，我们对Markdown编辑器进行了全新改造，增加诸多功能拓展与语法支持，除了...

在机器翻译任务中，BLEU 和 ROUGE 是两个常用的评价指标，BLEU 根据精确率(Precision)衡量翻译的质量，而 ROUGE 根据召回率(Recall)衡量翻...

XLNet 采用了 PLM (Permutation Language Model) ，将句子随机排列，然后用自回归的方法训练，从而获得双向信息并且可以学习 token 之...

Bert 模型体积及计算量都很大，因此有不少针对 BERT 模型压缩的研究，其中模型蒸馏 Distillation 是一种比较好的解决方法，本文介绍两种基于模型蒸馏的 BE...

本文介绍 RoBERTa 和 ALBERT。RoBERTa 在更大的数据集和最优的参数中训练 BERT，提升性能；ALBERT 主要通过共享参数和 Embedding 分解...

Transformer 在学习长距离依赖信息的能力仍然有一些限制，Transformer-XL 是一种语言模型，可以提高 Transformer 学习长期依赖信息的能力。...

OpenAI GPT 是在 Google BERT 算法之前提出的，与 BERT 最大的区别在于，GPT 采用了传统的语言模型进行训练，即使用上文预测下文，而 BERT 同...

BERT 模型是 Google 在 2018 年提出的一种 NLP 模型，Bert 基于 Transformer 并在 11 个 NLP 领域的任务上都刷新了以往的记录。...

CNN 是卷积神经网络，通常用于图像领域，本文介绍一篇将CNN用于文本分类的论文《Convolutional Neural Networks for Sentence Cl...

Transformer 是 Google 的团队在 2017 年提出的一种 Self-Attention 模型，现在比较火热的 Bert 也是基于 Transformer。...

Seq2Seq 是一种循环神经网络的变种，包括编码器 (Encoder) 和解码器 (Decoder) 两部分。Seq2Seq 是自然语言处理中的一种重要模型，可以用于机器...

朴素贝叶斯 (Naive Bayesian algorithm) 是一种基于概率统计的分类方法，主要用到了贝叶斯定理和特征条件独立性假设，可以用于文本分类、信用评估等方面。...