Transform底层理论学习

在经过 $N$ 层 Decoder 的复杂思考（Attention, MLP, MoE）后，模型最终需要将抽象的数学向量转化为人类可读的文字。这个过程主要发生在模型的“输出头”——LM Head。 一

在大语言模型（LLM）的 Decoder Block 中，如果说 Attention 负责信息的社交与分发，那么 MLP（及其演进版 MoE）则负责信息的内化与推理。它是模型真正的“知识仓库”。 第一

一、 技术背景：KV Cache 的“维度灾难” 在标准 Transformer 或 GQA 架构中，随着上下文长度和模型维度的增加，KV Cache 成为系统的头号性能杀手： 显存占用量 (VRAM

一、 注意力机制：多维语义的并行构建 注意力机制是 Transformer 的灵魂，其核心任务是在海量序列中实现高价值特征的选择性聚合。 1.1 核心公式与参数定义 $$\text{Attention

1. 核心公式与参数图谱 位置编码（PE）的本质是为模型提供一套坐标系。我们将 $pos$（词位置）和 $i$（维度索引）作为变量，通过不同的函数注入向量。 A. Sinusoidal PE (叠加式