Tranformer学习笔记

线性层的作⽤： 通过对上⼀步的线性变化得到指定维度的输出, 也就是转换维度的作⽤ softmax层的作⽤： 使最后⼀维的向量中的数字缩放到0-1的概率值域内, 并满⾜他们的和为1 代码实现：

解码器由N个解码器层堆叠⽽成： 每个解码器层由三个⼦层连接结构组成 第⼀个⼦层连接结构包括⼀个多头⾃注意⼒⼦层和规范化层以及⼀个残差连接 第⼆个⼦层连接结构包括⼀个多头注意⼒⼦层和规范化层以及⼀个残差

Part1:掩码张量 什么是掩码张量: 掩代表遮掩，码就是我们张量中的数值，它的尺⼨不定，⾥⾯⼀般只有1和0的元素，代表位置被遮掩或者不被遮掩，⾄于是0位置被遮掩还是1位置被遮掩可以⾃定义，因此它的作

初识Transformer Transformer模型的作⽤：基于seq2seq架构的transformer模型可以完成NLP领域研究的典型任务, 如机器翻译, ⽂本⽣成等，同时⼜可以构建预训练语⾔模