晨之阴影

Transformer主要包括Input Embedding, Position Encoding, Encoder, Decoder等部分，除了自身的多头注意力机制，也使用了残差连接和前馈神经网络。

Transformer是一种面向机器翻译领域的Seq2Seq 编码器-解码器模型，即输入是一种语言，输出是另一种语言。本文主要介绍Transformer框架的一些基础概念。

神经网络架构发展史 神经网络的发展历程已接近70年，不断有新的架构被提出，而老的架构也不时的焕发新的活力，在此盘点一下神经网络领域的发展史，让我们对经常出现的各种网络架构缩写有一个系统的认识。