概述:在上一篇文章《BERT模型入门系列:Attention机制入门》里面，用了机器翻译的例子把Encoder-Decoder模型、以及Attention模型的基本原理进行了讲解，这篇配合上一篇文章的

Attention模型在NLP领域用的风生水起，但是一直对attention模型的基本原理不理解，看了很多别人的文章，似乎是看懂了，但实际上在真正理解起来的时候，就是没办法说出个所以然来，所以用自己的

Transformer模型实在论文《AttentionIsAllYouNeed》里面提出来的，用来生成文本的上下文编码，传统的上下问编码大多数是由RNN来完成的，不过，RNN存在两个缺点：一、计算是顺