机器学习Go

Transformer主要包括Input Embedding, Position Encoding, Encoder, Decoder等部分，除了自身的多头注意力机制，也使用了残差连接和前馈神经网络。

Transformer是一种面向机器翻译领域的Seq2Seq 编码器-解码器模型，即输入是一种语言，输出是另一种语言。本文主要介绍Transformer框架的一些基础概念。

神经网络架构发展史 神经网络的发展历程已接近70年，不断有新的架构被提出，而老的架构也不时的焕发新的活力，在此盘点一下神经网络领域的发展史，让我们对经常出现的各种网络架构缩写有一个系统的认识。

通用人工智能一直是AI领域的终极目标，即不再局限于一个个单独的子任务，而是直接构建出可以解决所有问题的通用模型。受限于传统方法的局限性，人们与AGI的目标相差甚远，Moss的出现可能还是遥遥无期。