你一定听说过当下风靡全球的 ChatGPT，但你知道它是如何利用 Transformer 模型的神奇力量吗？这里将用最通俗易懂的方式，揭秘 Transformer 的来龙去脉，结构原理。

本文将介绍Transformer架构和GPT-4、LLaMA等语言大模型中使用的自注意力机制。自注意力和相关机制是LLM的核心组件，使用LLM时，了解这些机制十分有必要。

作为最近热门的生成式大模型的基石，Transformer自2017年诞生以来，就成为nlp研究者必须掌握的基本模型。本系列将通过图解方式，全方面展示Transformer的细节。

自 2017 年开创性研究论文《Attention is All You Need》问世以来，transformer 架构就一直主导着生成式人工智能领域。