大家好，我是你们的技术伙伴。👋
在深度学习的世界里，Transformer架构彻底颠覆了序列建模的范式。它完全抛弃了递归和卷积结构，仅依靠注意力机制实现了序列数据的并行处理。在2026年的今天，随着大模型时代的全面到来，Transformer不仅是NLP领域的统治者，更广泛渗透到了计算机视觉、音频处理等多个领域。今天，我将为你带来一份Transformer面试题的深度解析。我们将涵盖从基础的架构设计到最前沿的长文本优化，助你在面试中从容应对。
1. Transformer整体架构是什么？
Transformer的整体架构基于经典的Encoder-Decoder（编码器-解码器）结构，完全摒弃了RNN的循环和CNN的卷积，仅依靠自注意力机制（Self-Attention）和前馈神经网络（Feed-Forward Network）构建。输入序列首先经过词嵌入（Input Embedding）和位置编码（Positional Encoding）相加，形成带有位置信息的初始向量。随后，这些向量被送入由N个相同层堆叠而成的Encoder，提取出富含全局上下文的特征表示；Decoder同样由N个堆叠层组成，它接收Encoder的输出以及带有掩码（Mask）的目标序列，逐步生成预测结果。每个子层后都紧跟残差连接（Residual Connection）和层归一化（Layer Normalization），以保障深层网络的训练稳定性。
2. Transformer为什么能够取代RNN？
Transformer能够取代RNN，核心在于其卓越的并行计算能力和对长距离依赖的完美捕捉。RNN具有递归性质，当前时间步的计算严格依赖上一时间步的隐藏状态，导致无法并行处理序列，训练速度极慢，且容易在长序列中遭遇梯度消失问题。而Transformer通过自注意力机制，能够一次性并行处理整个序列，并直接计算序列中任意两个词之间的全局依赖关系，信息传递路径长度恒为O(1)。这种全局并行的计算方式，使得Transformer在训练效率和长序列建模能力上全面超越了RNN，成为当前大模型时代的首选架构。
3. Transformer Encoder结构是什么？
Transformer的Encoder模块通常由N个（经典架构中为6个）完全相同的Encoder Block堆叠而成。每个Encoder Block包含两个核心子模块：第一个是多头自注意力层（Multi-Head Self-Attention），它让序列中的每个词都能关注到序列中的所有其他词，从而捕捉全局语义信息；第二个是前馈全连接层（Feed-Forward Network），由两个全连接层和ReLU激活函数组成，用于对特征进行非线性变换和维度映射。在每个子模块的后面，都紧跟一个“Add & Norm”模块，即残差连接加上层归一化（LayerNorm），以确保深层网络中梯度的稳定流动。
4. Transformer Decoder结构是什么？
Transformer的Decoder模块同样由N个（通常为6个）Decoder Block堆叠而成，但每个Block包含三个核心子模块。第一个是带掩码的多头自注意力层（Masked Multi-Head Self-Attention），它在计算注意力时通过Mask机制屏蔽掉“未来的信息”，防止模型在训练时作弊；第二个是Encoder-Decoder Attention层，其Query（Q）来源于上一层Decoder的输出，而Key（K）和Value（V）来源于Encoder的最终输出，充当了跨序列信息交互的桥梁；第三个是与Encoder完全相同的前馈全连接层。同样，这三个子模块后面也都各自连接了“Add & Norm”模块。
5. Transformer中的残差连接有什么作用？
残差连接（Residual Connection）在Transformer中扮演着“信息高速公路”的角色，其核心作用是缓解深层网络的梯度消失问题并保留原始特征信息。在极深的网络中，传统的堆叠方式可能导致性能饱和甚至下降，残差连接通过构建一条“直达通道”（即输出 = F(x) + x），让梯度能够跨越多层网络直接回传。这不仅确保了增加层数不会使模型比浅层模型更差，还允许模型轻松地学习恒等映射，使得底层的特征信息能够无损或低损地传递到高层，便于进行复杂的特征整合。
6. Transformer中的LayerNorm有什么作用？
LayerNorm（层归一化）的核心作用是稳定训练过程并加速收敛。在Transformer中，LayerNorm是在单个样本的所有特征维度上进行归一化，将激活值的分布拉回到均值为0、方差为1的标准范围。这有效缓解了内部协变量偏移（Internal Covariate Shift），防止参数过大或过小导致的学习过程异常。与BatchNorm不同，LayerNorm不依赖批次大小，完美适配NLP任务中动态变化的序列长度。在Transformer中，LayerNorm总是与残差连接结对出现，残差连接负责纵向稳定（解决深度问题），LayerNorm负责横向稳定（解决特征尺度问题），两者共同支撑起了深层Transformer的训练稳定性。
7. Transformer为什么需要位置编码？
Transformer需要位置编码，是因为其核心的自注意力机制是“排列等变”的，即模型本身完全不具备天然的时序感知能力。如果打乱输入序列的顺序，自注意力机制计算出的特征表示只会相应重排，而不会改变其语义关联，这导致“猫吃鱼”和“鱼吃猫”在模型看来完全一样。为了弥补这一缺陷，必须显式地将位置信息注入到词嵌入向量中。位置编码就像给Transformer装上了“顺序感知的GPS”，让模型在处理每个词时，不仅能知道“我是谁”（词向量表示的语义），还能知道“我在哪”（位置编码表示的顺序）。
8. 正弦位置编码原理是什么？
正弦位置编码（Sinusoidal Positional Encoding）采用不同频率的正弦和余弦三角函数来计算位置编码。其巧妙之处在于：首先，三角函数的值域在[-1, 1]之间，数值稳定，不会压倒词向量的语义信息；其次，同一个位置在任何长度的句子中都有唯一的编码，模型能形成稳定的位置概念；最重要的是，位置之间的相对距离可以通过三角函数的线性变换得到，这意味着模型能够轻松学会“第3个词在第2个词后面”这种相对位置关系。多个不同频率的正弦波叠加，为每个位置创造了独一无二的编码指纹，且不受序列长度的限制。
9. 可学习位置编码与正弦位置编码有什么区别？
可学习位置编码（Learnable Positional Encoding）与正弦位置编码的核心区别在于参数来源与外推能力。正弦位置编码是预先通过数学公式计算好的固定向量，不参与训练，具有优秀的相对位置建模能力和一定的长度外推性；而可学习位置编码是一个与词嵌入矩阵维度相同的、随机初始化的参数矩阵，在模型训练过程中通过反向传播自动更新。可学习编码更加灵活，能让模型根据特定任务的数据分布自动调整位置表示，但在处理远超训练长度的序列时，其外推能力通常不如正弦编码或现代的旋转位置编码（RoPE）。
10. Transformer训练过程是什么？
Transformer的训练过程采用教师强制（Teacher Forcing）策略，且支持完全的并行计算。在训练阶段，整个目标序列（Target Sequence）会一次性输入到Decoder中。为了防止模型直接看到当前词后面的答案，Decoder的自注意力层会使用Causal Mask屏蔽掉未来的信息。同时，Decoder的输入序列通常是真实标签序列向后移动一位（并在开头加上起始符SOS）。由于所有时间步的输入都是已知的真实标签，Encoder和Decoder的所有计算都可以并行完成，模型通过计算预测输出与真实标签之间的损失（如交叉熵损失），利用反向传播算法一次性更新所有参数。
11. Transformer推理过程是什么？
Transformer的推理（预测）过程是自回归（Autoregressive）的，必须按时间步串行进行。推理从输入起始符（SOS）开始，在每一个时间步（time step），Decoder只能接收到之前所有时间步已经预测出的Token拼接而成的序列。例如，当预测第2个词时，输入是“SOS + 第1个预测词”；当预测第3个词时，输入是“SOS + 第1个预测词 + 第2个预测词”。模型每输出一个Token，就需要将其拼接到输入序列末尾，并重新进行一次完整的前向传播（实际工程中会使用KV Cache进行优化），直到模型预测出结束符（EOS）为止，解码过程才宣告结束。
12. Decoder为什么需要Mask？
Decoder需要Mask（掩码）主要是为了在训练阶段防止“信息泄露”或“作弊”。在训练时，Decoder是一次性接收整个目标序列的，如果不加限制，模型在预测第t个词时，自注意力机制会直接“看到”第t+1、t+2等后续的真实答案，导致模型无法学会真正的语言生成能力。通过引入Mask机制，强制将未来位置的注意力权重设为负无穷（经Softmax后变为0），确保模型在预测任意时刻的输出时，只能依赖于当前时刻及之前的历史信息，从而模拟出推理时的自回归过程。
13. Causal Mask是什么？
Causal Mask（因果掩码，也称为Look-ahead Mask）是专门用于Decoder自注意力层的一种下三角矩阵掩码。它的核心作用是屏蔽掉序列中“未来的信息”。在计算注意力分数时，Causal Mask会将当前位置之后所有位置的分数强制置为负无穷大（-inf）。当这些分数经过Softmax归一化后，未来位置对应的注意力权重就会变为0。这保证了序列中的每一个Token在计算注意力时，只能关注到它自身以及它之前的Token，严格遵守了时间上的因果律。
14. Padding Mask是什么？
Padding Mask（填充掩码）是为了解决批次（Batch）内序列长度不一致而引入的掩码机制。在深度学习训练中，为了并行处理，通常会将一个Batch内的短序列用特殊的填充符（如）补齐到与最长序列相同的长度。这些填充符本身没有任何语义信息，如果让模型对其进行注意力计算，会引入巨大的噪声。Padding Mask的作用就是将这些填充符对应位置的注意力分数置为负无穷，使模型在计算时完全忽略这些无效的填充部分，只关注真实的Token。在Transformer中，Encoder和Decoder通常都需要使用Padding Mask。
15. Transformer复杂度是多少？
标准Transformer的计算复杂度和空间复杂度主要由自注意力机制决定，均为 O(n²)，其中 n 代表输入序列的长度。这是因为在计算注意力分数时，模型需要构建一个 n × n 的注意力矩阵，来量化序列中每一个Token与其他所有Token之间的关联度。此外，前馈神经网络（FFN）的复杂度为 O(n * d²)，其中 d 是模型的隐藏层维度。在常规序列长度下，O(n²) 的注意力复杂度是主要的计算瓶颈；当序列长度从4K扩展到128K时，计算量和显存占用将呈平方级爆炸式增长。
16. Transformer长文本处理有什么问题？
Transformer在处理长文本时面临的核心问题是 O(n²) 的二次方计算和显存开销。当上下文窗口极长时，巨大的注意力矩阵不仅会迅速耗尽GPU显存，还会导致极高的推理延迟。此外，传统的绝对位置编码在处理远超训练长度的序列时，往往会出现严重的外推失效问题（即模型无法理解超出训练范围的位置关系）。为了应对这些挑战，工程上通常需要依赖KV Cache优化、Flash Attention显存优化，以及采用具有优秀外推能力的相对位置编码（如RoPE、ALiBi）等前沿技术。
17. Longformer原理是什么？
Longformer的核心原理是将标准的全局自注意力机制替换为“局部滑动窗口注意力 + 全局注意力”的混合机制，从而将复杂度从 O(n²) 降低到 O(n)。对于序列中的绝大多数Token，Longformer只让它们关注周围固定大小窗口内的邻近Token（局部注意力），这大大减少了计算量；而对于少数需要捕捉全局信息的特殊Token（如句首的[CLS]标记或特定的问答标记），则允许它们关注整个序列中的所有Token（全局注意力）。这种设计使得Longformer能够在保持极低计算开销的同时，有效处理数万甚至数十万字的超长文档。
18. Transformer有哪些优化方向？
Transformer的优化方向主要集中在计算效率、长序列外推能力和架构轻量化三个维度。在计算效率上，Flash Attention通过分块计算和内核融合技术，大幅降低了显存IO开销，提升了训练推理速度；在长序列处理上，旋转位置编码（RoPE）和线性偏置（ALiBi）取代了传统的正弦编码，赋予了模型优秀的长度外推能力；在架构层面，稀疏注意力（Sparse Attention）、线性注意力（Linear Attention）以及Mamba等状态空间模型（SSM）正在尝试打破 O(n²) 的复杂度瓶颈。此外，混合专家模型（MoE）和模型量化剪枝也是当前提升大模型落地效率的重要优化方向。
📌 结语
从颠覆RNN的并行架构，到精妙的位置编码与Mask机制，再到应对长文本挑战的Longformer与Flash Attention，Transformer的演进史就是深度学习不断突破计算极限与认知边界的历史。理解这些底层组件背后的数学直觉与工程权衡，不仅能够帮助你在2026年的算法面试中对答如流，更能让你在面对大模型微调、RAG长文本检索等实际落地任务时，精准地定位性能瓶颈并找到最优解决方案。
希望这篇深度解析能帮你彻底打通Transformer的任督二脉。如果觉得文章对你有帮助，请务必点赞、收藏、关注.
