SeanLiu

GPT的发展历程 Transformer架构是google的研究人员在2017年提出来的，核心是里面的自注意力机制。 2018年OpenAI基于Transformer发布了GPT-1模型，在多语言任务

GPT 是 OpenAI 开发的自然语言处理模型，名称含义可倒序解读。其本质是预测下一个单词概率最大者，以 Transformer 为架构核心，基于直觉及预训练，突破传统 NLP 瓶颈，推动 NLP

本文介绍了 RNN 的长期依赖及梯度消失问题，致使其仅有短时记忆。LSTM 可解决此问题，其核心架构含遗忘、输入、输出门及单元状态，还有窥视孔链接、耦合门等变体。GRU 是 LSTM 变体，更简单。

BART BART(Bidirectional and Auto-regressive Transformer) 论文地址：BART: Denoising Sequence-to-Sequence P