【一】ERNIE:飞桨开源开发套件,入门学习,看看行业顶尖持续学习语义理解框架,如何取得世界多个实战的SOTA效果?

57 阅读1分钟


参考文章:

深度剖析知识增强语义表示模型——ERNIE_财神Childe的博客-CSDN博客_ernie模型

ERNIE_ERNIE开源开发套件_飞桨

github.com/PaddlePaddl…

1.背景介绍

近年来,语义表示(language representation)技术的发展,使得 “预训练-微调” 作为解决NLP任务的一种新的范式开始出现。一个通用的表示能力强的模型被选择为语义表示模型,在预训练阶段,用大量的语料和特定的任务训练该模型,使其编码海量的语义知识;在微调阶段,该模型会被加上不同的简单输出层用以解决下游的 NLP 任务。早期较为著名的语义表示模型包括EL