AI 应用开发 Day 5:从 Embedding 到 RAG,真正理解检索增强生成
前几天的学习中,我开始接触大语言模型(LLM)、Prompt、Embedding 和向量检索。
Day 4 主要理解了一个核心概念:
Embedding 可以把文本转换成向量,然后通过向量之间的相似度来判断两个文本在语义上是否相关。
到了 Day 5,我开始把这些知识串起来,进一步理解一个 AI 应用开发中非常重要的技术:
RAG(Retrieval-Augmented Generation,检索增强生成)。
如果以后想做企业知识库、AI 客服、内部文档问答、代码知识库等应用,RAG 基本是绕不开的。
一、为什么需要 RAG?
先看一个简单的问题。
假设公司内部有一份:
《星脉系统使用手册》
里面写着:
案例模块支持 PPT 模板上传。
模板目前仅支持 PPTX 格式。
现在用户问 AI:
星脉系统的模板支持什么格式?
如果直接把问题交给一个普通 LLM:
星脉系统的模板支持什么格式?
模型不一定能够回答。
原因很简单:
LLM 并不知道我们公司的内部知识。
模型训练时学习的是大量公开数据,而企业自己的内部文档、产品手册、数据库数据等,并不一定存在于模型的训练数据中。
因此,我们需要一种机制:
用户的问题
↓
去公司自己的知识库找相关内容
↓
把找到的内容交给 LLM
↓
让 LLM 根据这些内容回答
这就是 RAG。
二、什么是 RAG?
RAG 的全称是:
Retrieval-Augmented Generation
可以拆成三个部分:
Retrieval
检索。
先从知识库中找到与用户问题相关的信息。
Augmented
增强。
把检索出来的信息作为额外上下文提供给 LLM。
Generation
生成。
LLM 根据:
用户问题 + 检索到的知识
生成最终答案。
因此,可以简单理解成:
RAG = 先检索,再让 LLM 根据检索结果生成答案。
三、一个最简单的 RAG 流程
一个基础的 RAG 系统可以表示成:
用户问题
│
▼
Embedding
│
▼
向量数据库
│
▼
Top-K 检索
│
▼
相关知识片段
│
▼
用户问题 + 相关知识
│
▼
LLM
│
▼
答案
例如用户问:
星脉系统模板支持什么格式?
系统首先把问题转换成向量:
Query
↓
[0.14, 0.81, 0.32, ...]
然后去向量数据库中寻找与这个向量最相似的知识片段。
找到:
模板目前仅支持 PPTX 格式。
最后构造 Prompt:
请根据下面的知识回答用户问题。
知识:
模板目前仅支持 PPTX 格式。
用户问题:
星脉系统模板支持什么格式?
再交给 LLM。
最终得到:
星脉系统的模板目前仅支持 PPTX 格式。
四、Embedding 在 RAG 中到底负责什么?
这是 RAG 中非常重要的一个概念。
Embedding 的作用不是:
“回答问题。”
而是:
把文本转换成能够表达语义关系的向量。
例如知识库中有三个内容:
A:星脉系统支持 PPTX 模板上传。
B:星脉系统支持 Word、Excel、PDF 素材上传。
C:管理员可以查看所有项目。
经过 Embedding:
A → [0.12, 0.83, 0.31, ...]
B → [0.17, 0.79, 0.35, ...]
C → [0.91, 0.12, 0.05, ...]
用户问题:
星脉系统模板支持什么格式?
同样经过 Embedding:
Q → [0.14, 0.81, 0.32, ...]
然后计算相似度:
Q ↔ A 0.96
Q ↔ B 0.71
Q ↔ C 0.12
那么就可以判断:
A 最相关
B 次之
C 基本无关
所以可以把 Embedding 理解成:
把“文本之间的语义关系”转换成“向量之间的数学关系”。
五、Vector Database 是干什么的?
既然我们已经把知识转换成向量,那么这些向量需要存在哪里?
这时候就需要:
Vector Database(向量数据库)
例如:
知识片段 向量
PPTX 模板规则 → [0.12, 0.83, ...]
素材上传规则 → [0.17, 0.79, ...]
权限管理规则 → [0.91, 0.12, ...]
向量数据库不仅负责存储这些向量,还需要提供:
根据查询向量,快速找到最相似向量的能力。
因此可以简单理解:
Embedding
↓
负责“把文本变成向量”
Vector Database
↓
负责“存储和搜索这些向量”
六、为什么不能把整个 PDF 直接交给 LLM?
假设我们有一个 100 页的 PDF。
最简单的想法可能是:
PDF
↓
直接扔给 LLM
但这种方式存在很多问题。
1. 上下文太大
文档越大,需要发送给模型的 Token 越多。
2. 成本增加
如果每次问问题都把整个文档发送给 LLM,会产生大量 Token 消耗。
3. 响应速度下降
模型需要处理更多内容,响应时间也可能增加。
4. 无关信息太多
用户问的是:
员工年假怎么算?
但 PDF 里面可能还有:
公司介绍
组织架构
报销制度
考勤制度
PPT 制作规范
项目管理制度
……
这些内容与问题没有关系。
把大量无关内容交给 LLM,反而可能干扰最终回答。
因此,我们需要:
不要把整个文档交给 LLM,而是先找到与问题最相关的部分。
这就是 RAG 的核心思想。
七、Chunk:RAG 中非常重要的一环
这里就出现了一个非常重要的概念:
Chunk
Chunk 可以简单理解为:
把一个大文档拆成多个较小的文本片段。
例如:
100 页 PDF
↓
文档解析
↓
┌──────────┐
│ Chunk 1 │
│ Chunk 2 │
│ Chunk 3 │
│ Chunk 4 │
│ ... │
│ Chunk500 │
└──────────┘
然后每个 Chunk 单独做 Embedding:
Chunk 1 → Embedding → Vector
Chunk 2 → Embedding → Vector
Chunk 3 → Embedding → Vector
...
最后存进向量数据库。
八、为什么不能整个 PDF 只做一个 Embedding?
这是理解 Chunk 最关键的一点。
假设:
第一章:公司介绍
第二章:产品介绍
第三章:PPT 模板规则
第四章:权限规则
第五章:素材管理
如果整个文档只生成一个向量:
整个 PDF
↓
一个 Vector
那么这个向量表达的是整个文档的综合语义。
但用户真正需要的是:
第三章:PPT 模板规则
这时候检索粒度就太粗了。
如果拆成 Chunk:
Chunk 1 → 公司介绍
Chunk 2 → 产品介绍
Chunk 3 → PPT 模板规则
Chunk 4 → 权限规则
Chunk 5 → 素材管理
那么用户问:
PPT 模板支持什么格式?
就可以更加精准地找到:
Chunk 3
因此:
Chunk 解决的是“检索粒度”的问题。
而:
Embedding 解决的是“语义匹配”的问题。
这是 RAG 中两个非常容易混淆、但实际上完全不同的概念。
九、RAG 的知识库构建阶段
到这里,可以把 RAG 拆成两个阶段。
第一个阶段:
提前建立知识库。
例如我们上传:
PDF
Word
TXT
Markdown
然后:
文档
↓
解析
↓
Chunk
↓
Embedding
↓
Vector Database
最终得到:
Vector Database
Chunk 1 → Vector 1
Chunk 2 → Vector 2
Chunk 3 → Vector 3
...
Chunk N → Vector N
这个过程一般不是用户每次提问的时候才做,而是在知识库建立或者文档更新时完成。
十、用户提问阶段
当用户真正开始提问:
星脉系统模板支持什么格式?
系统执行:
用户问题
↓
Embedding
↓
Query Vector
↓
Vector Database
↓
相似度搜索
↓
Top-K
↓
相关 Chunk
↓
Prompt
↓
LLM
↓
最终答案
这就是一个完整的 RAG 查询过程。
十一、什么是 Top-K?
在向量搜索过程中,我们通常不会只搜索一个结果,而是搜索前 K 个最相关结果。
例如:
Top-K = 3
搜索得到:
A:PPTX 模板规则 0.96
B:Word 素材规则 0.72
C:项目权限规则 0.21
那么 Top 3 就是:
A
B
C
然后把这些内容作为 Context 提供给 LLM。
十二、Top-K 是不是越大越好?
并不是。
这是 RAG 中一个很容易产生误解的问题。
例如:
Top-K = 3
结果:
A → 0.96
B → 0.72
C → 0.21
A 明显相关。
B 可能有一定关系。
但 C:
0.21
基本已经不相关了。
如果无脑把 C 也交给 LLM:
用户问题
+
A
+
B
+
C
就可能产生额外干扰。
所以实际的 RAG 系统往往还需要进一步处理检索结果。
十三、RAG 不只是“向量搜索”
这是今天学习之后,我对 RAG 一个比较重要的认识。
最简单的 RAG:
Embedding
↓
Vector Search
↓
Top-K
↓
LLM
但实际工程中的 RAG 往往会更加复杂:
Embedding
↓
Vector Search
↓
Top-K
↓
Filter
↓
Rerank
↓
Score Threshold
↓
Context Compression
↓
LLM
也就是说:
向量检索并不能保证 100% 找到最正确的内容。
因此还需要对检索结果进行进一步处理。
十四、Rerank 是什么?
例如第一次向量搜索得到:
A → 0.96
B → 0.72
C → 0.21
D → 0.68
E → 0.65
这只是第一次检索结果。
我们可以再使用一个专门的 Reranker,对:
用户问题
+
候选文本
重新计算相关性。
可能得到:
A → 0.98
D → 0.91
B → 0.34
E → 0.21
C → 0.02
这时候就可以选择:
A
D
而不是简单地按照第一次搜索结果直接全部交给 LLM。
因此:
Vector Search 更适合快速召回候选内容,Rerank 更适合进一步判断候选内容到底有多相关。
这个概念在后续学习 RAG 优化时会非常重要。
十五、Score Threshold
除了 Top-K,还可以设置一个最低分数。
例如:
threshold = 0.7
检索结果:
A → 0.96 ✅
B → 0.72 ✅
C → 0.21 ❌
那么 C 就直接过滤掉。
所以实际系统中可以同时使用:
Top-K
+
Score Threshold
例如:
取 Top 5
但相似度低于 0.7 的全部丢弃
这样可以避免把明显不相关的内容交给 LLM。
十六、把整个 RAG 系统串起来
到这里,可以形成一张完整的 RAG 脑图。
知识库构建
PDF / Word / TXT
│
▼
文档解析
│
▼
Chunk
│
▼
Embedding
│
▼
Vector Database
用户提问
用户问题
│
▼
Embedding
│
▼
Query Vector
│
▼
Vector Database
│
▼
Vector Search
│
▼
Top-K
│
▼
Filter / Rerank
│
▼
相关 Context
│
▼
Prompt
│
▼
LLM
│
▼
最终答案
最终可以浓缩成一句话:
RAG 就是先把知识切成 Chunk 并向量化存进向量数据库,用户提问时把问题向量化,检索最相关的知识片段,再将“用户问题 + 检索到的知识”交给 LLM 生成最终答案。
十七、RAG 和直接问 LLM 有什么区别?
可以简单对比一下。
| 方式 | 直接问 LLM | RAG |
|---|---|---|
| 模型知识 | 主要依赖训练数据 | 可以结合外部知识 |
| 企业内部文档 | 不一定知道 | 可以检索 |
| 实时知识 | 不一定具备 | 可以接入最新知识库 |
| 成本 | 相对简单 | 系统复杂度更高 |
| 开发难度 | 低 | 更高 |
| 幻觉 | 可能存在 | 可以降低部分幻觉 |
| 知识更新 | 通常需要模型训练/其他机制 | 更新知识库即可 |
这也是为什么 RAG 非常适合:
企业知识库
AI 客服
内部文档问答
产品手册问答
技术文档问答
法律/规范文档检索
代码知识库
等场景。
十八、作为 AI 应用工程师,我应该重点学习什么?
如果目标是成为:
AI 应用工程师
而不是训练大模型的算法工程师,那么重点不应该放在模型训练本身,而应该放在如何把这些能力组合起来。
目前我的学习路线逐渐变成:
LLM
↓
Prompt
↓
Embedding
↓
Vector Database
↓
RAG
↓
Rerank
↓
Agent
↓
Tool Calling
↓
AI 应用
其中:
LLM
负责理解和生成。
Embedding
负责语义向量化。
Vector Database
负责向量存储和相似搜索。
RAG
负责把外部知识接入 LLM。
Rerank
负责进一步提升检索结果的相关性。
最终把这些技术组合起来,才能真正做出一个比较完整的 AI 应用。
十九、Day 5 的总结
今天主要理解了几个核心概念:
1. RAG
Retrieval-Augmented Generation,检索增强生成。
核心思想:
先找知识,再让 LLM 根据知识回答。
2. Embedding
把文本转换成向量,用于语义匹配。
3. Vector Database
存储向量,并根据查询向量快速找到相似内容。
4. Chunk
把大文档拆成较小的文本片段,提高检索粒度和准确性。
5. Top-K
从检索结果中选择前 K 个候选内容。
但:
Top-K 并不是越大越好。
6. Rerank
对第一次检索出来的候选结果进行进一步的相关性排序。
7. Score Threshold
设置最低相关性分数,过滤明显不相关的内容。
二十、Day 5 最大的收获
以前看到:
RAG
Embedding
Vector Database
可能感觉它们是三个独立的技术。
今天把它们串起来之后,会发现实际上是一条完整的链路:
知识库
PDF / Word / TXT
↓
Chunk
↓
Embedding
↓
Vector Database
│
│
│
▼
用户提问
↓
Embedding
↓
向量检索
↓
Top-K
↓
Filter / Rerank
↓
相关知识 Context
↓
用户问题 + Context
↓
LLM
↓
答案
这也是我目前理解 RAG 最重要的一张图。
下一阶段需要做的就不是继续背概念,而是:
真正动手做一个最小 RAG 系统。
例如准备一个:
company.txt
里面放入公司的:
公司介绍
请假制度
加班制度
报销制度
PPT 模板规则
素材管理规则
然后亲手完成:
TXT
↓
Chunk
↓
Embedding
↓
Vector DB
↓
用户提问
↓
检索
↓
LLM
↓
答案
当这套流程真正跑通之后,RAG 才算真正从“概念”变成了自己的技术能力。
Day 5 完。