复旦大学计算科学技术学院的张奇教授及其团队于2023年9月公开发布了《大规模语言模型：从理论到实践》共享书籍。前不久，张奇教授团队再次公开发布了本书的第二版，如下：
两个版本的目录差异如下：
1、新增章节
最大的变化时新增了四个章节（第7章~第10章）：多模态大语言模型、大模型智能体、检索增强生成、大语言模型效率优化。这些章节丰富了大语言模型的相关知识体系，使读者能接触到更多前沿和细分领域的内容。
在第 7 章 “多模态大语言模型” 中，对当下人工智能从单一模态迈向多模态的趋势予以了跟进，涵盖典型多模态大语言模型介绍、多模态与大语言模型的融合架构（如视觉语言、语音语言及多模态大语言模型架构），以及多模态大语言模型训练策略等内容，让读者能深入了解多模态大语言模型这一前沿领域，知晓如何使人工智能具备自然语言理解与生成、图像识别及语音和视频交互等多种能力。
第 8 章 “大模型智能体” 则聚焦于智能体领域，从智能体的发展历史、范式讲起，深入剖析大语言模型智能体架构，包括感知、规划、记忆、工具使用等模块，还涉及大模型智能体训练以及实践，如手工编写代码、利用 LangChain 框架、智能体平台 Coze 实践等，拓宽了读者对于大语言模型在智能体应用方面的认知。
第 9 章 “检索增强生成” 详细阐述了检索增强生成的基础，包括 RAG 系统框架、任务分级、系统难点等，对模块化检索增强生成架构的各个环节，如索引、检索前优化、检索、检索后优化、生成、编排等进行讲解，并介绍了 RAG 系统设计模式、训练与优化以及评估等内容，使读者能够掌握通过集成大语言模型原始训练数据和外部知识库来拓展模型功能的技术。
第 10 章 “大语言模型效率优化”，从效率优化基础入手，探讨模型优化方法（如 Transformer 代替架构、模型量化、模型稀疏化、知识蒸馏）、低精度训练（如 FP8 编码及 FP8 大模型训练）、高效推理（包括算法级别和系统级别推理优化）以及 vLLM 推理框架实践等，为提升大语言模型运行效率提供了全面的知识讲解。
这些新增章节极大地丰富了大语言模型的知识体系，让读者能够接触到更多前沿和细分领域的内容，从多维度深入理解大语言模型，无论是对学术研究还是实际应用都具有重要的指导意义。
2、原有章节内容的增加与修订
第二版除新增四个章节外，在原有章节内容上也进行了诸多增加与修订，主要体现在以下方面：
1）绪论部分：第一版中 “大规模语言模型基本概念” 在第二版变为 “大语言模型的基本概念”，表述更加简洁统一，强调 “大语言模型” 这一核心概念。
2）大语言模型基础部分：
- Transformer 相关：第一版的 “Transformer 模型” 变为第二版的 “Transformer 结构”，表述侧重点略有变化，且内容上整体更为系统地阐述嵌入表示层、注意力层、前馈层、残差连接与层归一化以及编码器和解码器结构，使读者对 Transformer 结构理解更深入。
- GPT 相关：将 “无监督预训练” 改为 “自监督预训练”，概念表述更为准确，同时对预训练语言模型实践部分的描述更加简洁，突出实践的通用性。
- 新增混合专家模型：全新增加了 “混合专家模型” 小节，细分为稀疏混合专家模型、稠密混合专家模型、软混合专家模型三个部分，丰富了大语言模型结构的知识体系，让读者接触到更前沿的模型架构内容。
3）语言模型训练数据部分：
- 数据来源：“专业数据” 改为 “领域数据”，表述更加宽泛且合理，可能涵盖了更丰富的专业领域数据类型，对数据来源的描述更全面。
- 数据影响分析：在数据规模、数据质量、数据多样性影响分析的基础上，第二版在描述上更为简洁，将分析结果以更清晰的方式呈现，便于读者理解数据对大语言模型训练的重要性。
- 开源数据集：新增 “CulturaX” 数据集，使读者了解到更多可用于大语言模型训练的开源数据资源，紧跟领域发展动态。
4）分布式训练部分：“分布式训练的集群架构”：“高性能计算集群硬件组成” 变为 “高性能计算集群的典型硬件组成”，表述更加准确，突出 “典型” 二字，意味着对硬件组成的介绍更具代表性和通用性，有助于读者更好地理解分布式训练的硬件基础。
5）有监督微调部分：
- 章节名称变更：“有监督微调” 改为 “指令微调”，名称更具针对性，章节内容围绕指令微调训练展开，包括指令微调数据、数据构建方法、指令微调数据评估与影响、指令微调训练策略、开源指令数据集等，内容更加系统和深入，突出指令微调在大语言模型优化中的重要性。
- 新增内容：在 “高效模型微调” 和 “模型上下文窗口扩展” 小节，内容上进行了一定的扩充和细化，使读者对这两个重要的微调技术有更深入的理解。
6）强化学习部分：
- 强化学习概述：对强化学习基础概念的介绍更为详细，同时更清晰地阐述强化学习与有监督学习的区别，为后续内容的展开奠定坚实基础。
- 策略梯度方法：在第一版基础上，新增了 “REINFORCE 算法”“RLOO”“GRPO” 等内容，丰富了策略梯度方法的种类，使读者能接触到更多强化学习算法。
- 推理模型的强化学习：全新增加该部分内容，介绍了 “DeepSeek-R”“Kimi k” 等推理模型的强化学习应用，紧跟学术和技术前沿，拓宽读者视野。
- 基于人类反馈的强化学习：对奖励模型的内容进行细化，增加了模型训练的具体介绍以及开源数据的说明，使该部分内容更加完整和实用。
7）大语言模型应用部分：第二版将第一版 “大语言模型应用” 章节的部分内容拆分到新增章节中，如推理规划相关内容拆分到 “大模型智能体” 章节中关于推理规划的训练部分，智能代理相关内容独立为 “大模型智能体” 章节，使各章节主题更为明确，内容结构更合理。
8）大语言模型评估部分：在评估体系、评估方法、评估实践等方面，第二版在第一版基础上对表述进行了优化，使评估相关的知识内容更加清晰、有条理，便于读者理解和应用大语言模型评估的相关方法和指标。
另外，在一些原有章节中，第二版进行了更深入的阐述和补充。如在 “大语言模型基础” 章节中，对生成式预训练语言模型 GPT 的预训练部分，将 “无监督预训练” 改为 “自监督预训练”，表述更准确；在 “数据来源” 部分，将 “专业数据” 改为 “领域数据” ，并可能对其内容有更细致的划分和说明；在 “强化学习” 章节中，增加了多种策略梯度方法（如 REINFORCE 算法、RLOO、GRPO 等）以及推理模型的强化学习相关内容（如 DeepSeek-R、Kimi k），使强化学习的介绍更为全面。
第二版还增加了更多实践案例，如 MiniGPT-4 实践（7.4）、智能体平台 Coze 实践（8.4.3）、基础 RAG 系统和查询分解与检索结果融合 RAG 系统实践（9.6）等，使读者能通过实际案例更好地理解和应用所学知识。
3、小结
总的来说，第二版体现了从「基础技术解析」到「系统架构设计」的升级，聚焦大模型领域四大前沿方向（MoE架构、多模态融合、智能体系统、RAG技术），强化了工程实践与评估体系，新增超过40%的前沿内容，更符合当前行业对「大模型全栈技术」的需求。通过模块化重组和技术深挖，构建了覆盖预训练-微调-强化学习-应用开发-效率优化的完整知识体系。
这里提供第一版和第二版的书籍文档，供大家学习和研究。
