摘要：沿着NLP技术发展主线，精简梳理统计模型、机器学习、深度学习、Transformer、预训练模型、大模型六个阶段，直击每个阶段核心思路与痛点，快速建立LLM演进知识框架，适合面试速查。
很多人入门大模型直接啃Transformer、RAG、Agent，容易知其然不知其所以然。 NLP到大模型不是突然出现的，每一轮技术革新，本质都是解决上一代方案的短板。本文精简干货，快速串起整条技术路线。
1. 统计语言模型：N-gram / HMM
✅ 核心思路：用词语共现概率做语言建模，预测下一词的可能性 ⚡ 解决痛点：替代人工if-else规则，不用手写海量语言规则，让机器自动学习文本统计规律 ❌ 局限：只有表层统计，不懂语义；长文本容易数据稀疏
2. 传统机器学习：SVM / LR / 树模型
✅ 核心思路：人工特征工程 + 机器学习算法，把文本转成特征交给模型学习 ⚡ 解决痛点：相比统计模型，决策拟合能力更强，适配文本分类、情感任务 ❌ 局限：效果上限绑定人工特征，高度依赖专家经验，迁移困难
3. 深度学习：CNN / RNN
✅ 核心思路：端到端学习，神经网络自动提取特征，只喂原始数据 ⚡ 解决痛点：摆脱手工特征工程；RNN原生适配文本这类序列数据 ❌ 局限：RNN串行无法并行，长序列梯度消失，长距离信息记不住
4. NLP底层架构升级：TF-IDF → Word2Vec → Transformer
✅ 核心思路：
- TF-IDF：仅统计词频，无语义
- Word2Vec：单词映射为稠密向量，语义相近向量靠近
- Transformer：自注意力机制，任意词直接建立关联，支持并行训练 ⚡ 解决痛点：RNN长依赖、训练慢的硬伤，Transformer成为后续所有大模型底座
5. 预训练模型：BERT / GPT
✅ 核心思路：海量无标注文本自监督预训练学习通用语言知识，下游少量数据微调（迁移学习） ⚡ 解决痛点：标注数据成本高、数量少，大幅降低下游任务落地成本 ❌ 局限：受规模限制，偏向任务专用，通用泛化能力弱
6. 通用大模型：GPT系列
✅ 核心思路：放大预训练规模，遵循缩放定律Scaling Law；搭配指令微调、RLHF对齐人类偏好，依靠规模效应涌现新能力 ⚡ 解决痛点：中小模型能力上限低；模型规模达标后涌现推理、上下文学习、多任务能力，从“理解语言”变成能执行指令的通用助手
演进速查表
| 阶段 | 核心变革 | 核心瓶颈 |
|---|---|---|
| 统计模型 | 人工规则 → 概率统计 | 无语义，长文本乏力 |
| 传统机器学习 | 统计建模 → 人工特征+ML | 依赖专家特征 |
| 深度学习 | 人工特征 → 网络自动提特征 | RNN串行、长依赖遗忘 |
| 表征&架构演进 | 离散词 → 词向量 → 注意力 | Transformer奠定底座 |
| 预训练模型 | 全标注训练 → 预训练+微调 | 标注数据昂贵稀缺 |
| 通用大模型 | 规模化预训练+人类对齐 | 依靠规模涌现通用能力 |
小结
整条演进逻辑一句话：一代技术，解决一代痛点。 理清这条路线，再去学RAG、Agent、微调，更容易理解各类设计的初衷，面试复盘也很合适。
