AI 应用开发 Day 5:从 Embedding 到 RAG,真正理解检索增强生成

31 阅读11分钟

AI 应用开发 Day 5:从 Embedding 到 RAG,真正理解检索增强生成

前几天的学习中,我开始接触大语言模型(LLM)、Prompt、Embedding 和向量检索。

Day 4 主要理解了一个核心概念:

Embedding 可以把文本转换成向量,然后通过向量之间的相似度来判断两个文本在语义上是否相关。

到了 Day 5,我开始把这些知识串起来,进一步理解一个 AI 应用开发中非常重要的技术:

RAG(Retrieval-Augmented Generation,检索增强生成)。

如果以后想做企业知识库、AI 客服、内部文档问答、代码知识库等应用,RAG 基本是绕不开的。


一、为什么需要 RAG?

先看一个简单的问题。

假设公司内部有一份:

《星脉系统使用手册》

里面写着:

案例模块支持 PPT 模板上传。

模板目前仅支持 PPTX 格式。

现在用户问 AI:

星脉系统的模板支持什么格式?

如果直接把问题交给一个普通 LLM:

星脉系统的模板支持什么格式?

模型不一定能够回答。

原因很简单:

LLM 并不知道我们公司的内部知识。

模型训练时学习的是大量公开数据,而企业自己的内部文档、产品手册、数据库数据等,并不一定存在于模型的训练数据中。

因此,我们需要一种机制:

用户的问题
    ↓
去公司自己的知识库找相关内容
    ↓
把找到的内容交给 LLM
    ↓
让 LLM 根据这些内容回答

这就是 RAG。


二、什么是 RAG?

RAG 的全称是:

Retrieval-Augmented Generation

可以拆成三个部分:

Retrieval

检索。

先从知识库中找到与用户问题相关的信息。

Augmented

增强。

把检索出来的信息作为额外上下文提供给 LLM。

Generation

生成。

LLM 根据:

用户问题 + 检索到的知识

生成最终答案。

因此,可以简单理解成:

RAG = 先检索,再让 LLM 根据检索结果生成答案。


三、一个最简单的 RAG 流程

一个基础的 RAG 系统可以表示成:

用户问题
                   │
                   ▼
              Embedding
                   │
                   ▼
             向量数据库
                   │
                   ▼
              Top-K 检索
                   │
                   ▼
            相关知识片段
                   │
                   ▼
        用户问题 + 相关知识
                   │
                   ▼
                  LLM
                   │
                   ▼
                 答案

例如用户问:

星脉系统模板支持什么格式?

系统首先把问题转换成向量:

Query
 ↓
[0.14, 0.81, 0.32, ...]

然后去向量数据库中寻找与这个向量最相似的知识片段。

找到:

模板目前仅支持 PPTX 格式。

最后构造 Prompt:

请根据下面的知识回答用户问题。

知识:
模板目前仅支持 PPTX 格式。

用户问题:
星脉系统模板支持什么格式?

再交给 LLM。

最终得到:

星脉系统的模板目前仅支持 PPTX 格式。

四、Embedding 在 RAG 中到底负责什么?

这是 RAG 中非常重要的一个概念。

Embedding 的作用不是:

“回答问题。”

而是:

把文本转换成能够表达语义关系的向量。

例如知识库中有三个内容:

A:星脉系统支持 PPTX 模板上传。

B:星脉系统支持 Word、Excel、PDF 素材上传。

C:管理员可以查看所有项目。

经过 Embedding:

A → [0.12, 0.83, 0.31, ...]
B → [0.17, 0.79, 0.35, ...]
C → [0.91, 0.12, 0.05, ...]

用户问题:

星脉系统模板支持什么格式?

同样经过 Embedding:

Q → [0.14, 0.81, 0.32, ...]

然后计算相似度:

Q ↔ A    0.96
Q ↔ B    0.71
Q ↔ C    0.12

那么就可以判断:

A 最相关
B 次之
C 基本无关

所以可以把 Embedding 理解成:

把“文本之间的语义关系”转换成“向量之间的数学关系”。


五、Vector Database 是干什么的?

既然我们已经把知识转换成向量,那么这些向量需要存在哪里?

这时候就需要:

Vector Database(向量数据库)

例如:

知识片段                    向量

PPTX 模板规则        →    [0.12, 0.83, ...]
素材上传规则         →    [0.17, 0.79, ...]
权限管理规则         →    [0.91, 0.12, ...]

向量数据库不仅负责存储这些向量,还需要提供:

根据查询向量,快速找到最相似向量的能力。

因此可以简单理解:

Embedding
    ↓
负责“把文本变成向量”

Vector Database
    ↓
负责“存储和搜索这些向量”

六、为什么不能把整个 PDF 直接交给 LLM?

假设我们有一个 100 页的 PDF。

最简单的想法可能是:

PDF
 ↓
直接扔给 LLM

但这种方式存在很多问题。

1. 上下文太大

文档越大,需要发送给模型的 Token 越多。

2. 成本增加

如果每次问问题都把整个文档发送给 LLM,会产生大量 Token 消耗。

3. 响应速度下降

模型需要处理更多内容,响应时间也可能增加。

4. 无关信息太多

用户问的是:

员工年假怎么算?

但 PDF 里面可能还有:

公司介绍
组织架构
报销制度
考勤制度
PPT 制作规范
项目管理制度
……

这些内容与问题没有关系。

把大量无关内容交给 LLM,反而可能干扰最终回答。

因此,我们需要:

不要把整个文档交给 LLM,而是先找到与问题最相关的部分。

这就是 RAG 的核心思想。


七、Chunk:RAG 中非常重要的一环

这里就出现了一个非常重要的概念:

Chunk

Chunk 可以简单理解为:

把一个大文档拆成多个较小的文本片段。

例如:

100 页 PDF
      ↓
   文档解析
      ↓
 ┌──────────┐
 │ Chunk 1  │
 │ Chunk 2  │
 │ Chunk 3  │
 │ Chunk 4  │
 │   ...    │
 │ Chunk500 │
 └──────────┘

然后每个 Chunk 单独做 Embedding:

Chunk 1 → Embedding → Vector
Chunk 2 → Embedding → Vector
Chunk 3 → Embedding → Vector
...

最后存进向量数据库。


八、为什么不能整个 PDF 只做一个 Embedding?

这是理解 Chunk 最关键的一点。

假设:

第一章:公司介绍
第二章:产品介绍
第三章:PPT 模板规则
第四章:权限规则
第五章:素材管理

如果整个文档只生成一个向量:

整个 PDF
    ↓
一个 Vector

那么这个向量表达的是整个文档的综合语义。

但用户真正需要的是:

第三章:PPT 模板规则

这时候检索粒度就太粗了。

如果拆成 Chunk:

Chunk 1 → 公司介绍
Chunk 2 → 产品介绍
Chunk 3 → PPT 模板规则
Chunk 4 → 权限规则
Chunk 5 → 素材管理

那么用户问:

PPT 模板支持什么格式?

就可以更加精准地找到:

Chunk 3

因此:

Chunk 解决的是“检索粒度”的问题。

而:

Embedding 解决的是“语义匹配”的问题。

这是 RAG 中两个非常容易混淆、但实际上完全不同的概念。


九、RAG 的知识库构建阶段

到这里,可以把 RAG 拆成两个阶段。

第一个阶段:

提前建立知识库。

例如我们上传:

PDF
Word
TXT
Markdown

然后:

文档
 ↓
解析
 ↓
Chunk
 ↓
Embedding
 ↓
Vector Database

最终得到:

Vector Database

Chunk 1 → Vector 1
Chunk 2 → Vector 2
Chunk 3 → Vector 3
...
Chunk N → Vector N

这个过程一般不是用户每次提问的时候才做,而是在知识库建立或者文档更新时完成。


十、用户提问阶段

当用户真正开始提问:

星脉系统模板支持什么格式?

系统执行:

用户问题
    ↓
Embedding
    ↓
Query Vector
    ↓
Vector Database
    ↓
相似度搜索
    ↓
Top-K
    ↓
相关 Chunk
    ↓
Prompt
    ↓
LLM
    ↓
最终答案

这就是一个完整的 RAG 查询过程。


十一、什么是 Top-K?

在向量搜索过程中,我们通常不会只搜索一个结果,而是搜索前 K 个最相关结果。

例如:

Top-K = 3

搜索得到:

A:PPTX 模板规则       0.96
B:Word 素材规则        0.72
C:项目权限规则         0.21

那么 Top 3 就是:

A
B
C

然后把这些内容作为 Context 提供给 LLM。


十二、Top-K 是不是越大越好?

并不是。

这是 RAG 中一个很容易产生误解的问题。

例如:

Top-K = 3

结果:

A → 0.96
B → 0.72
C → 0.21

A 明显相关。

B 可能有一定关系。

但 C:

0.21

基本已经不相关了。

如果无脑把 C 也交给 LLM:

用户问题
+
A
+
B
+
C

就可能产生额外干扰。

所以实际的 RAG 系统往往还需要进一步处理检索结果。


十三、RAG 不只是“向量搜索”

这是今天学习之后,我对 RAG 一个比较重要的认识。

最简单的 RAG:

Embedding
 ↓
Vector Search
 ↓
Top-K
 ↓
LLM

但实际工程中的 RAG 往往会更加复杂:

Embedding
    ↓
Vector Search
    ↓
Top-K
    ↓
Filter
    ↓
Rerank
    ↓
Score Threshold
    ↓
Context Compression
    ↓
LLM

也就是说:

向量检索并不能保证 100% 找到最正确的内容。

因此还需要对检索结果进行进一步处理。


十四、Rerank 是什么?

例如第一次向量搜索得到:

A → 0.96
B → 0.72
C → 0.21
D → 0.68
E → 0.65

这只是第一次检索结果。

我们可以再使用一个专门的 Reranker,对:

用户问题
+
候选文本

重新计算相关性。

可能得到:

A → 0.98
D → 0.91
B → 0.34
E → 0.21
C → 0.02

这时候就可以选择:

A
D

而不是简单地按照第一次搜索结果直接全部交给 LLM。

因此:

Vector Search 更适合快速召回候选内容,Rerank 更适合进一步判断候选内容到底有多相关。

这个概念在后续学习 RAG 优化时会非常重要。


十五、Score Threshold

除了 Top-K,还可以设置一个最低分数。

例如:

threshold = 0.7

检索结果:

A → 0.96  ✅
B → 0.72  ✅
C → 0.21  ❌

那么 C 就直接过滤掉。

所以实际系统中可以同时使用:

Top-K
+
Score Threshold

例如:

取 Top 5
但相似度低于 0.7 的全部丢弃

这样可以避免把明显不相关的内容交给 LLM。


十六、把整个 RAG 系统串起来

到这里,可以形成一张完整的 RAG 脑图。

知识库构建

PDF / Word / TXT
       │
       ▼
     文档解析
       │
       ▼
      Chunk
       │
       ▼
    Embedding
       │
       ▼
 Vector Database

用户提问

用户问题
   │
   ▼
Embedding
   │
   ▼
Query Vector
   │
   ▼
Vector Database
   │
   ▼
Vector Search
   │
   ▼
Top-K
   │
   ▼
Filter / Rerank
   │
   ▼
相关 Context
   │
   ▼
Prompt
   │
   ▼
LLM
   │
   ▼
最终答案

最终可以浓缩成一句话:

RAG 就是先把知识切成 Chunk 并向量化存进向量数据库,用户提问时把问题向量化,检索最相关的知识片段,再将“用户问题 + 检索到的知识”交给 LLM 生成最终答案。


十七、RAG 和直接问 LLM 有什么区别?

可以简单对比一下。

方式直接问 LLMRAG
模型知识主要依赖训练数据可以结合外部知识
企业内部文档不一定知道可以检索
实时知识不一定具备可以接入最新知识库
成本相对简单系统复杂度更高
开发难度低更高
幻觉可能存在可以降低部分幻觉
知识更新通常需要模型训练/其他机制更新知识库即可

这也是为什么 RAG 非常适合:

企业知识库
AI 客服
内部文档问答
产品手册问答
技术文档问答
法律/规范文档检索
代码知识库

等场景。


十八、作为 AI 应用工程师,我应该重点学习什么?

如果目标是成为:

AI 应用工程师

而不是训练大模型的算法工程师,那么重点不应该放在模型训练本身,而应该放在如何把这些能力组合起来。

目前我的学习路线逐渐变成:

LLM
 ↓
Prompt
 ↓
Embedding
 ↓
Vector Database
 ↓
RAG
 ↓
Rerank
 ↓
Agent
 ↓
Tool Calling
 ↓
AI 应用

其中:

LLM

负责理解和生成。

Embedding

负责语义向量化。

Vector Database

负责向量存储和相似搜索。

RAG

负责把外部知识接入 LLM。

Rerank

负责进一步提升检索结果的相关性。

最终把这些技术组合起来,才能真正做出一个比较完整的 AI 应用。


十九、Day 5 的总结

今天主要理解了几个核心概念:

1. RAG

Retrieval-Augmented Generation,检索增强生成。

核心思想:

先找知识,再让 LLM 根据知识回答。

2. Embedding

把文本转换成向量,用于语义匹配。

3. Vector Database

存储向量,并根据查询向量快速找到相似内容。

4. Chunk

把大文档拆成较小的文本片段,提高检索粒度和准确性。

5. Top-K

从检索结果中选择前 K 个候选内容。

但:

Top-K 并不是越大越好。

6. Rerank

对第一次检索出来的候选结果进行进一步的相关性排序。

7. Score Threshold

设置最低相关性分数,过滤明显不相关的内容。


二十、Day 5 最大的收获

以前看到:

RAG
Embedding
Vector Database

可能感觉它们是三个独立的技术。

今天把它们串起来之后,会发现实际上是一条完整的链路:

知识库

PDF / Word / TXT
       ↓
     Chunk
       ↓
   Embedding
       ↓
Vector Database
       │
       │
       │
       ▼
     用户提问
       ↓
    Embedding
       ↓
     向量检索
       ↓
      Top-K
       ↓
 Filter / Rerank
       ↓
  相关知识 Context
       ↓
 用户问题 + Context
       ↓
       LLM
       ↓
      答案

这也是我目前理解 RAG 最重要的一张图。

下一阶段需要做的就不是继续背概念,而是:

真正动手做一个最小 RAG 系统。

例如准备一个:

company.txt

里面放入公司的:

公司介绍
请假制度
加班制度
报销制度
PPT 模板规则
素材管理规则

然后亲手完成:

TXT
 ↓
Chunk
 ↓
Embedding
 ↓
Vector DB
 ↓
用户提问
 ↓
检索
 ↓
LLM
 ↓
答案

当这套流程真正跑通之后,RAG 才算真正从“概念”变成了自己的技术能力。

Day 5 完。