Transformer模型实在论文《Attention Is All You Need》里面提出来的，用来生成文本的上下文编码，传统的上下问编码大多数是由RNN来完成的，不过，RNN存在两个缺点：
一、计算是顺序进行的，无法并行化，例如：对于一个有10个单词的文本序列，如果我们要得到最后一个单词的处理结果，就必须要先计算前面9个单词的处理结果。
**二、RNN是顺序计算，存在信息的衰减，**所以很难处理相隔比较远的两个单词之间的信息，因此，RNN通常和attention相结合使用。
针对RNN的缺陷，《Attention Is All You Need》提出了Transformer模型解决这个问题。Transformer由多头注意力、位置编码、层归一化和位置前向神经网络等部分构成。
说得再多，还不如直接一幅图看起来清晰一些，来看一下Transformer的网络结构图。
Transormer和seq2seq模型一样，由Encoder和Decoder两大部分组成，其中左侧的是Encoder，右侧的是Decoder。模型主要由多头注意力和前馈神经网络组成。
这里有个关键的点--**位置编码。**使用RNN的进行处理的时候，每个输入天然存在位置属性，但这也是RNN的弊端之一。文本单词的排列与文本的语义有很大的关联，所以文本的位置是一个很重要的特征，因此，在Transformer模型里面，加入了位置编码来保留单词的位置信息。
下面，我们对Transformer里面的每一部分进行讲解:
编码(Encoder)部分：
一、多头注意力
多头注意力是Transformer模型的重要组成部分，通过下面的图，我们来看看多头注意力的结构
多头注意力是self-attention(自注意力)的拓展,对与self-attention不熟悉，可以参考self-attention详解 ,相对于self-attention，多头注意力再两个方面有所提高：
1、扩展了模型在文本序列不同位置的注意力能力。相对于self-attention，self-attention的最终输出中，包含了其他词的很少信息，其注意力权重主要由词语本身即query占主导位置。
2、赋予attention多种子表达方式。使用多头注意力机制，我们会有多组的Q、K、V参数矩阵（Transformer使用了8个heads，所以会有8组参数矩阵）。
我们一起来看看Transformer里的多头注意力机制是怎么计算的。
首先，会划分为8个heads，得到8组的Q、K、V参数矩阵
随后，我们要计算注意力权重，我们有8组矩阵，所以输出的注意里权重也有8个矩阵
在这里，问题来了，下一层的是一个前馈神经网络，只输入一个矩阵，但我们多头注意力机制输出了8个。所以，我们要把这8个矩阵压缩成一个矩阵。
这要怎么做呢？这个算法太精妙了，以至于我不得不把膝盖献给大佬们，
分为两个步骤
- 把
连接起来得到一个新的矩阵
- 把
连接得到的矩阵乘上一个参数权重矩阵
,得到最终的输出结果
最后，用一个图总结一下多头注意力的计算过程
二、位置编码(positional embedding)
前面已经说过,Transformer设计了位置编码(positional embedding)来保留单词的位置信息，每一个位置都会分配一个独特的位置编码，下面是以三角函数定义的一种位置编码：
其中， 代表文本序列中pos个位置的单词的位置编码第
维分量的值。 其中，
表示当前词语再句子中的位置，
表示当前的向量中每个值的index
假设词的向量维度为4，那么实际的位置编码就是这样子的：
即在按照公式计算的得到Positional Encoding后，把positional Encoding和Embeding的值相加，作为下一层的输入。
三、层归一化(layer normalization)
神经网络的训练是具有高度的计算复杂性，为了减少训练的时间成本，加快网络的收敛速度，可以采用的方法是层归一化(layer normalization)。
层归一化操作会对一层的输入 进行归一化操作得到
。计算层归一化的操作公式如下：
其中， 为参数，
为非线性函数
在transformer的Encoder的网络架构里面，还有一个我们需要注意的细节。在Encoder的每一个子层(self-attention、ffnn)里面都有一个残差连接(residual connection)，残差连接会将网络层的输入和输出进行相加。
把self-attention、层次归一化、残差连接的计算细节和相互之间的联系更进一步展示，可以如下图所示:
Decoder里面的子网络层也是由self-attention、层次归一化、残差连接组成的，而Transformer主要由Encocder和Decoder两部分构成。那么，Transformer的内部细节就可以如下图所示：
二、解码(Decoder)部分
现在我们已经了解了Encoder的各个组成部分和相关的概念/。Decoder的组成部分也和Encoder类似，所以我们也基本上 知道了Decoder的组成部分，我们来看看他们整体的工作流程是怎么样的。
输入的文本经过Embeding、positional Embeding后，输入到encoder进行处理。在最后，顶端的encoder会输出一组attention的 向量，这个向量会在解码器中使用，帮助解码器关注输入文本的合适位置。
解码的步骤如下图所示，图中的这个步骤会一直重复，直到遇到终止符。在解码过程中，每次当前解码的输出都会作为下一次解码的输入。在Encoder 中，positional encoding会和词的Embeding相加作为下一层的输入，在Decoder里也一样，每个词的positional encoding也会和相应的embeding相加作为Decoder输入。
Mask
mask表示掩码。即对某些值进行掩盖，不参与计算，不会对参数更新产生效果。Decoder计算注意力的时候，为了让decoder不能看到未来的信息，需要把未来的信息隐藏。例如在 time_step 为 t 的时刻，解码计算attention的时候应该只能依赖于 t 时刻之前的输出，而不能依赖 t 之后的输出。因此需要想一个办法，把 t 之后的信息给隐藏起来。这就是mask的作用。
具体的办法是在计算attention步骤中，在计算softmax之前，在这些位置加上一个非常打的负数(-INF)，这样，经过softmax这些位置的概率会接近0。
Linear和softmax
Decoder最终输出的结果是一个浮点型数据的向量，我们要如何把这个向量转为一个单词呢？这个就是Linear和softmax要做的事情了。
Linear层是一个全连接的神经网络，输出神经元个数一般等于我们的词汇表大小。Decoder输出的结果会输入到Linear层，然后再用softmax进行转换，得到的是词汇表大小的向量，向量的每个值对应的是当前Decoder是对应的这个词的概率，我们只要取概率最大的词，就是当前词语Decoder的结果了。
Transformer的主要模块和相关工作原理都已经讲完了,希望对你有所帮助，毛主席说：实践是检验真理的唯一标准，代码是学习算法的最佳资料，(我说的)，下一篇我们来认真分析一下transformer的模型的实现代码，然后再使用一下transformer模型，来进一步理解模型的原理。
码字不易，如果对你有帮助，希望能给个赞，鼓励我一下~^_^
