树獭叔叔

在 AI 对齐（Alignment）的进化史上，如果说 RLHF 是初代的“导师制”，DPO 是现代的“对比法”，那么 GRPO 就是一种全新的**“演化论”**。它是 DeepSeek 推理模型（R

在训练拥有成百上千层的深层神经网络（如 GPT-4, DeepSeek）时，最核心的挑战不是算力不够，而是梯度如何稳定地传回底层。残差连接与 Pre-LN 结构的组合，正是解决这一难题的工业标准。 一

如果说**预训练（Pre-train）**是让模型在图书馆里读万卷书，那么 SFT（有监督微调） 就是教模型如何通过考试、如何与人沟通，而 LoRA 则是完成这一过程最经济高效的“手术刀”。 一、 S

RLHF 是大模型通往“人类智能”的必经之路。它不仅仅是微调，更是一场关于概率、偏好与约束的精密实验。 一、 RLHF 的宏观蓝图：从“复读机”到“逻辑专家” 在 SFT 阶段，模型只是在模仿。但人类

在经过 $N$ 层 Decoder 的复杂思考（Attention, MLP, MoE）后，模型最终需要将抽象的数学向量转化为人类可读的文字。这个过程主要发生在模型的“输出头”——LM Head。 一

在大语言模型（LLM）的 Decoder Block 中，如果说 Attention 负责信息的社交与分发，那么 MLP（及其演进版 MoE）则负责信息的内化与推理。它是模型真正的“知识仓库”。 第一

一、 技术背景：KV Cache 的“维度灾难” 在标准 Transformer 或 GQA 架构中，随着上下文长度和模型维度的增加，KV Cache 成为系统的头号性能杀手： 显存占用量 (VRAM

一、 注意力机制：多维语义的并行构建 注意力机制是 Transformer 的灵魂，其核心任务是在海量序列中实现高价值特征的选择性聚合。 1.1 核心公式与参数定义 $$\text{Attention

1. 核心公式与参数图谱 位置编码（PE）的本质是为模型提供一套坐标系。我们将 $pos$（词位置）和 $i$（维度索引）作为变量，通过不同的函数注入向量。 A. Sinusoidal PE (叠加式