谷歌在2017年发布Transformer架构的论文时，论文的标题是：Attention Is All You Need。重点说明了这个架构是基于注意力机制的。

本文深入剖析Transformer编码器的核心组件，通过数学原理、可视化图解和完整代码实现，全面讲解位置编码、层归一化、前馈网络和残差连接的设计思想与实现细节。

本文来自公众号CV技术指南的技术总结系列 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 在讲如何搭建之前，先回顾一下Transformer在计算机

1. 什么是Transformer 《Attention Is All You Need》是一篇Google提出的将Attention思想发挥到极致的论文。这篇论文中提出一个全新的模型，叫 Transformer，抛弃了以往深度学习任务里面使用到的 CNN 和 RNN。目前大热…