从0到1！大模型(LLM)最全学习路线图，建议收藏！
想入门大模型(LLM)却不知道从哪开始? 我根据最新的技术栈和我自己的经历&理解，帮大家整理了一份LLM学习路线图，涵盖从理论基础到落地应用的全流程!拒绝焦虑，按图索骥~~
这份《大模型系统学习资料》已经整理好，👉掘金大礼包🎁： [全网最全《LLM大模型入门+进阶学习资源包》免费分享] （安全练接，放心点击） ]👈
阶段一:前置知识
- 编程基础:Python熟练掌握。
- 深度学习框架:PyTorch(目前学术界和工业界的主流)。
- 数学基础:线性代数、概率论、微积分(理解梯度下降、矩阵运算)。
阶段二:核心原理
- 卷积神经网络CNN
卷积核、特征提取、感受野、残差、池化、隐藏层、神经元
- 循环神经网络 RNN
循环结构、时间步、激活函数、门控单元(GRU)，长短期神经网络(LSTM)
- ！！Transformer(重中之重):
self-Attention机制、多头注意力(MHA、MQA、GQA)、掩码自注意力、交叉注意力(cross attention)、位置编码(Embedding)、前馈网络(FFN)、残差连接、层归一化(Batch Norm、Layer Norm、RMSNorm)。
- 主流架构:
Encoder-only:BERT(懂理解)
Decoder-only:GPT系列(懂生成，现在的主流)
Encoder-Decoder:T5
- 经典必读: 论文<>、李沐<<动手学深度学习>>
阶段三:预训练(Pre-training)
1.海量数据工程:
TB级数据的清洗、去重(Dedup)、质量筛选、数据配比(Data Mixture)。
2.分词技术(Tokenization):
- 核心算法： BPE(Byte-Pair Encoding)、BBPE (Byte-Level BPE)、Unigram.
- 关键点： 词表大小(Vocab Size)的权衡、Special Token的设计、Merge的高效化,Chunking的准确高效，以及多语言支持难点。
3.模型架构细节(Model Architecture)
- 位置编码: RoPE(旋转位置编码)是目前的绝对主流(Llama标配)。
- 注意力机制: GQA(分组查询注意力)，在训练速度和推理显存之间找平衡。
- 归一化: RMSNorm(Pre-norm)，比 LayerNorm更稳更收敛。
4.分布式训练与加速(Distributed Training)
- 3D 并行(3D Parallelism):
数据并行(DP): 配合ZeRO(1/2/3)切分优化器状态、梯度和参数，显存 救星。
张量并行(TP): 单层切分，通常用于节点内(Intra-node)。
流水线并行(PP): 层间切分，用于跨节点(Inter-node)。
- 算子优化: FlashAttention-2/3(必学!I0感知优化，极大提升 Attention 计算速度)。
- 训练稳定性及优化器: 学习率预热(Warm-up)、Cosine衰减、梯度裁剪(Gradient Clipping)、LossSpike(损失刺像)、KL散度、混合精度(BF16/FP16)、Checkpoint、Adam/AdamW
阶段四:后训练(Post-training)
1.监督微调(SFT)
指令构建:构造高质量的 Instruction-Input-Output数据对。
.全量微调:算力允许下的全参数更新，效果最好。
2.参数高效微调(PEFT)
.LoRA/QLoRA:目前最主流方案!通过低秩矩阵适配，极低显存实现微调，消费级显卡即可实现~
Adapter Tuning:层间插入小网络。
.P-Tuning / Prefix-Tuning:优化输入端的提示向量(Soft Prompt).
3.对齐学习(Alignment)
奖励模型(Reward Model):训练一个"判卷老师"，给模型的回答打分。
RLHF(强化学习):经典的 PPO 算法(ChatGPT同款)、
阶段五:应用开发(RAG & Agent)
1.RAG(检索增强生成)
数据索引(Indexing):
。进阶切分(Chunking): 不能傻切，要懂语义切分、重叠切分。
。向量化(Embedding): 把文字变成向量,存入Milvus/Faiss/Chroma。
检索优化(Retrieval): 这里是提升准确率的关键!
。Top-K检索
。混合检索(Hybrid Search): 关键词检索(BM25)+语义向量检索,互补优缺点。
。重排序(Rerank): 用高精度的Rerank模型对初步检索回来的内容进行二次精排(必做!)。生成增强(Generation):
。Prompt 构造: 动态填槽，将检索到的上下文完美拼接到提示词中。
2.Agent(智能体)，这块可以看我发的hello-agents开源项目的帖子
核心架构(ReAct):
。规划(Planning): 思维链(CoT)，把大任务拆解成小步骤。
。记忆(Memory): 短期记忆(上下文)+长期记忆(向量库)。
。行动(Action): 工具调用(Function Calling)，让模型学会用搜索工具、计算器、API。
五种设计范式： ReAct, Plan and Solve,Reflection,Tool Use,Multi-Agent
开发框架: LangChain,AutoGen, LlamaIndex, AutoGPT.
3.MCP(前沿协议)
模型上下文协议: Anthropic提出的新标准，统一了AI连接数据源的方式(Client-Host-Server模式)，未来大趋势。
优势: 只需开发一个符合 MCP标准的Server,所有支持MCP的客户端(如 Claude Desktop,Cursor,Zed)都能直接即插即用。
架构三要素:
。MCP Host:运行环境。
。MCPClient:AI应用程序(大模型入口)。
。MCP Server:数据源或工具的桥梁(这一层是开发者主要工作的领域)。
这份《大模型系统学习资料》已经整理好，👉掘金大礼包🎁： [全网最全《LLM大模型入门+进阶学习资源包》免费分享] （安全练接，放心点击） ]👈
