树獭叔叔

什么是预训练？ 在上一章中，我们学习了训练的基本概念：前向传播、反向传播、梯度下降。现在让我们聚焦于大模型训练的第一阶段：预训练（Pre-training）。 定义 预训练（Pre-training)

大模型如何"学习"：从梯度下降到AdamW优化器 引言：什么是"学习"？ 在前面的章节中，我们学习了Transformer的各个组件：注意力机制、MLP、残差连接、LM Head等。但有一个核心问题我

回顾：大模型的完整流程 在前面的章节中，我们学习了Transformer的各个组件。现在让我们回顾一下完整流程： $$ \begin{aligned} &\text{输入：} \quad \text{

为什么需要非线性变化？ 在前面的章节中，我们学习了注意力机制和位置编码。但如果仔细观察，你会发现一个问题： 注意力机制全是线性变换！ 回顾注意力计算： $$ \begin{aligned} Q &=

注意力机制的"位置盲区" 在上一章中，我们学习了注意力机制如何通过QKV矩阵计算Token之间的相关性。但这里有一个严重的问题： 注意力机制天生是"位置不敏感"的！ 问题演示 考虑以下两个句子： "猫

从Token预测说起 大语言模型的核心工作原理非常简单：给定前面的0到n个Token，预测第n+1个Token是什么。 举个例子： 输入："今天天气" 模型需要预测下一个词可能是："很好"、"不错"、

一、 角色分工：谁在操纵模型？ 在微调的战场上，每一个术语都有它不可替代的性格： 损失函数 (Loss)： 它是**“毒舌判官”**。它拿着标准答案，冷酷地告诉模型：“你离正确答案还差 10.5 分”

在训练 7B、70B 甚至更大的模型时，如何让显存利用率翻倍、速度提升数倍？答案就在 FP16 与 BF16 的取舍之间。 一、 核心概念：数字的“重量” 计算机存储数字需要占据空间（位/bit）。精

在大模型从“通用天才”向“领域专家”进化的过程中，最危险的敌人就是灾难性遗忘。本文将拆解其底层逻辑与工业界对抗遗忘的实战手段。 一、 什么是灾难性遗忘？ 灾难性遗忘是指模型在学习新任务（如：医学诊断）