AI研究员

本文基于《从零构建大模型》，讲解如何用 PyTorch 从头实现一个简化版 GPT。内容涵盖数据集构建、Embedding 原理、多头自注意力、Transformer结构以及完整 GPT构建过程。

我们在第一课讲述了Transformer的基本原理，这一课，我们用代码实现注意力机制。本文主要实现了最基本的自注意力机制， 因果注意力机制和多头注意力机制。