大模型的训练过程通常被形象地比作“一个孩子的成长过程”。目前业界公认的主流路径主要分为四个核心阶段。
以下是按照先后顺序排列的详细阶段：
1. 预训练阶段 (Pre-training, PT) —— “博览群书”
这是最耗时、最烧钱、也是最关键的阶段。
- 目标： 让模型学习人类语言的规律、常识和基础逻辑。
- 数据： 使用海量的无标签文本数据（如 Wikipedia、Common Crawl 网页数据、代码仓库、图书等），数据量通常以 TB 或 PB 计。
- 方式： 自监督学习（通常是“完形填空”或“预测下一个词”）。
- 结果： 得到一个“底座模型”（Base Model）。这个模型知识极其丰富，但由于它只是在模仿人类说话，它可能不会听指挥，甚至会胡言乱语。
2. 有监督微调阶段 (Supervised Fine-Tuning, SFT) —— “规矩教育”
有了底座模型后，需要教它如何理解人类的指令。
- 目标： 让模型学会“问答格式”。你问它一个问题，它知道应该给出答案，而不是重复你的问题。
- 数据： 高质量的有标签数据。即：
Prompt（指令）+Answer（标准答案）。通常由人工编写，数量在几万到几十万条之间。 - 结果： 得到一个“指令微调模型”（Instruct/Chat Model）。此时的模型已经可以进行基本的对话和任务执行。
3. 奖励模型训练阶段 (Reward Modeling, RM) —— “树立三观”
模型现在会说话了，但我们需要让它说出“更好”、“更安全”的话。
- 目标： 构建一个能够给模型回答结果打分的“评分器”。
- 方式：
- 让模型针对同一个问题生成几个不同的回答。
- 请人类（标注员）对这些回答进行排序（比如：A > B > C）。
- 将这些排序数据喂给另一个较小的模型，训练它学会人类的偏好标准。
- 结果： 得到一个“奖励模型”，它能自动判断哪个回答更符合人类的胃口。
4. 强化学习对齐阶段 (Reinforcement Learning from Human Feedback, RLHF) —— “磨砺性格”
这是目前顶级大模型（如 ChatGPT、Llama 3）拉开差距的关键一步。
- 目标： 使模型生成的回答既有用、又真实、且无害（Helpful, Honest, Harmless）。
- 方式：
- 使用 PPO 或 DPO 等算法。
- 让模型生成回答，由上一步训练好的“奖励模型”来打分。
- 根据分数反馈，不断调整模型的参数，鼓励它多产生高分回答。
- 结果： 得到最终的正式版模型。
总结对比表
| 阶段 | 简称 | 核心作用 | 数据类型 | 成本 |
|---|---|---|---|---|
| 预训练 | PT | 积累知识、逻辑 | 海量无标签文本 | 极高 (GPU阵列) |
| 有监督微调 | SFT | 学习听令、格式 | 人工标注问答对 | 中 (标注费) |
| 奖励模型 | RM | 学习人类偏好 | 人工排序数据 | 低 |
| 强化学习 | RLHF | 价值对齐、优化 | 模型自我进化 | 中 (计算量) |
