Day 9:RAG 检索优化——从 TopK 到 Rerank,让知识库检索更准确
在 Day 8 中,我已经使用 Python + SiliconFlow Embedding + Chroma + DeepSeek 搭建了一个最小可运行的 RAG。
完整流程是:
用户问题
↓
Embedding
↓
Vector Search
↓
TopK
↓
Context
↓
DeepSeek
↓
回答
虽然这个 RAG 已经能够工作,但是很快会遇到一个实际问题:
向量检索找到的内容,真的都是最相关的吗?
答案通常是否定的。
因此 Day 9 的重点,就是学习如何提高 RAG 的检索准确率。
一、为什么 RAG 需要检索优化?
假设知识库里面有:
公司工资于每月15日发放。
公司工作时间为周一至周五,每天上午9点到下午6点。
员工入职满一年后可以享受带薪年假。
公司每周五下午提供下午茶。
公司的办公地点位于上海。
用户提问:
公司在哪里办公?
通过 Embedding + Vector Search,我们可能得到:
公司的办公地点位于上海。
公司工作时间为周一至周五,每天上午9点到下午6点。
公司工资于每月15日发放。
公司每周五下午提供下午茶。
员工入职满一年后可以享受带薪年假。
第一条显然非常相关。
但是后面的内容其实与问题没有太大关系。
如果知识库有几万甚至几十万个 Chunk,这个问题会更加明显。
因此 RAG 的检索通常不能简单理解成:
问题 → 向量搜索 → 直接交给 LLM
而是需要一个更加完整的检索体系。
二、Chunk Size
Chunk Size 指的是:
一个 Chunk 应该包含多少内容。
例如一篇很长的文档:
公司简介……
公司历史……
公司组织架构……
工资制度……
请假制度……
年假制度……
福利制度……
如果全部作为一个 Chunk:
Chunk 1
↓
整篇文档
那么虽然能够进行检索,但是粒度太粗。
用户问:
公司工资什么时候发?
实际上我们只需要:
公司工资于每月15日发放。
而不是把整个公司制度都塞给 LLM。
所以需要 Chunking:
原始文档
↓
Chunk 1
Chunk 2
Chunk 3
Chunk 4
...
三、Chunk Size 太大和太小都不好
Chunk 太大:
一个 Chunk 包含大量不同主题
可能导致:
- 语义被稀释
- 检索结果包含大量无关内容
- LLM Context 变大
- Token 成本增加
Chunk 太小:
一个 Chunk 只有一句话甚至半句话
又可能导致:
- 上下文不完整
- 一个完整语义被拆散
- 检索结果缺少必要信息
所以 Chunk Size 本质上是在寻找:
检索粒度和上下文完整性之间的平衡。
四、Chunk Overlap
Chunk Overlap 是解决 Chunk 边界问题的重要方法。
例如原文:
A B C D E F G H
如果每个 Chunk 4 个词,并且完全不重叠:
Chunk 1:A B C D
Chunk 2:E F G H
那么如果一个完整语义刚好跨越:
D E
就可能被拆开。
因此可以加入 Overlap:
Chunk 1:A B C D
Chunk 2:C D E F
Chunk 3:E F G H
这样相邻 Chunk 之间会保留一部分重叠内容。
核心目的:
减少因为 Chunk 边界导致的语义丢失。
五、Recall 和 Precision
这是 Day 9 非常重要的两个概念。
1. Recall
Recall 可以简单理解成:
正确答案有没有被检索出来?
例如真正相关的 Chunk 是:
A
Vector Search 返回:
B
C
A
D
虽然 A 排在第三,但是 A 被找到了。
所以 Recall 是好的。
一句话:
Recall 关注“别漏”。
2. Precision
Precision 更关注:
找出来的东西到底有多少是真正相关的。
例如:
A ← 相关
B ← 无关
C ← 无关
D ← 无关
如果返回:
A
B
C
D
虽然没有漏掉 A,但是无关内容太多。
Precision 就比较差。
一句话:
Precision 关注“别杂”。
六、TopK
TopK 指的是:
Vector Search 最终返回多少个候选结果。
例如:
Vector Search
↓
TopK = 5
就是取最相关的 5 个结果。
假设:
10000 个 Chunk
↓
Vector Search
↓
TopK = 5
最终只需要处理 5 个候选。
七、TopK 不是越大越好
例如:
TopK = 3
可能出现:
真正答案没有被召回
Recall 降低。
但是如果:
TopK = 100
虽然召回更多内容,但是:
- 无关内容增加
- Context 变大
- Token 消耗增加
- LLM 注意力被干扰
- 后续处理成本增加
所以:
TopK 太小,可能漏;TopK 太大,可能杂。
这也是为什么实际 RAG 通常需要后面的 Rerank。
八、Rerank 是什么?
Rerank 可以理解成:
对 Vector Search 找出来的候选结果进行第二次、更精细的相关性判断。
传统 Vector Search:
Question → Embedding
Document → Embedding
Question Vector
↓
Vector Search
↓
相似度排序
而 Rerank 是:
Question + Document
↓
Rerank Model
↓
相关性评分
↓
重新排序
所以两者的区别非常重要。
九、为什么需要两阶段检索?
假设知识库有:
100000 个 Chunk
我们不可能让 Rerank 模型把 100000 个 Chunk 全部重新判断。
所以采用:
100000 个 Chunk
↓
Vector Search
↓
TopK = 20
↓
Rerank
↓
TopN = 3
也就是:
先粗排,再精排。
可以记住一句话:
Vector Search 保证 Recall,Rerank 提升 Precision。
十、我使用 SiliconFlow 接入真实 Rerank API
Day 9 前面我曾经用简单的关键词匹配模拟 Rerank。
例如:
if "办公地点" in question and "办公地点" in document:
score = 0.95
这种方式只是为了理解 Rerank 的工作流程。
但它有一个明显问题:
用户问:
公司在哪里办公?
知识库:
公司的办公地点位于上海。
两个句子的关键词并不完全一致。
简单关键词匹配可能认为它们不相关。
而真正的 Rerank 模型能够理解:
在哪里办公
≈
办公地点
因此 Day 9 最后,我把模拟 Rerank 替换成了真实的 SiliconFlow Rerank API。
SiliconFlow 提供 /v1/rerank 接口,可以传入 query 和多个 documents,返回每个文档的 relevance_score。本次实验使用的是 BAAI/bge-reranker-v2-m3。
十一、真实 Rerank 实验
用户问题:
公司在哪里办公?
首先进行 Vector Search:
Vector Search TopK:
0.9697 - 公司的办公地点位于上海。
1.1097 - 公司工作时间为周一至周五,每天上午9点到下午6点。
1.2247 - 公司工资于每月15日发放。
1.2281 - 公司每周五下午提供下午茶。
1.4267 - 员工入职满一年后可以享受带薪年假。
可以看到:
公司的办公地点位于上海。
排在第一。
但是后面还有一些明显无关的内容。
接下来进入 Rerank。
十二、Rerank 后的结果
真实 Rerank:
0.9749 - 公司的办公地点位于上海。
0.0384 - 公司工作时间为周一至周五,每天上午9点到下午6点。
0.0002 - 公司每周五下午提供下午茶。
0.0001 - 公司工资于每月15日发放。
0.0001 - 员工入职满一年后可以享受带薪年假。
这个结果非常明显。
Rerank 模型判断:
公司在哪里办公?
↓
公司的办公地点位于上海。
具有非常高的相关性。
而其他内容的相关性明显降低。
这就是 Rerank 的价值。
十三、TopK 和 TopN 的区别
这次实验中:
TopK = 5
代表:
Vector Search 先找 5 个候选。
然后:
Rerank
重新排序。
最后:
top_n = 2
只保留两个结果。
所以:
TopK
↓
Vector Search 阶段
↓
候选数量
TopN
↓
Rerank 阶段
↓
最终数量
完整流程:
100000 个 Chunk
↓
Vector Search
↓
TopK = 5
↓
Rerank
↓
TopN = 2
↓
Context
↓
LLM
十四、Metadata Filter
除了向量检索,还可以利用 Metadata。
例如知识库:
{
"text": "上海项目合同金额为100万元。",
"metadata": {
"projectId": "project_a"
}
}
另外一个:
{
"text": "北京项目合同金额为200万元。",
"metadata": {
"projectId": "project_b"
}
}
用户查询:
上海项目的合同金额是多少?
如果已经知道:
projectId = project_a
那么就没必要在整个知识库里面搜索。
可以:
全部知识
↓
Metadata Filter
↓
project_a
↓
Vector Search
核心思想:
先缩小搜索范围,再进行 Vector Search。
这在企业知识库中特别有价值。
例如可以按照:
项目
部门
用户
文件类型
时间
权限
进行过滤。
十五、Hybrid Search
纯 Vector Search 还有一个问题:
有些信息不是“语义相似”最重要,而是“关键词必须精确匹配”。
例如:
HT-2026-002
这是一个合同编号。
用户搜索:
HT-2026-002
这种场景非常适合 Keyword Search。
因为合同编号:
HT-2026-002
就是一个非常精确的字符串。
如果只使用 Embedding:
语义相似
反而不一定是最优方案。
十六、Hybrid Search
因此可以同时使用:
Vector Search
+
Keyword Search
也就是:
Hybrid Search
例如:
用户问题:
上海项目的合同付款方式是什么?
这里同时存在:
上海项目
合同
付款方式
既有语义信息,也有关键词信息。
因此:
Vector Search
+
Keyword Search
↓
Hybrid Search
通常会比单独使用一种检索方式更加稳健。
十七、Day 9 最终 RAG 架构
经过 Day 9 的学习,我的 RAG 已经从:
用户问题
↓
Embedding
↓
Vector Search
↓
TopK
↓
LLM
升级成:
知识库构建
│
knowledge.txt
↓
Chunk
↓
Embedding
↓
Vector DB
│
│
↓
用户问题 → Embedding → Vector Search
↓
TopK
↓
Metadata Filter
↓
Rerank
↓
TopN
↓
Context
↓
DeepSeek
↓
Answer
如果加入 Hybrid Search,则可以进一步变成:
用户问题
↓
┌─────────┴─────────┐
↓ ↓
Vector Search Keyword Search
↓ ↓
└─────────┬─────────┘
↓
Hybrid Search
↓
TopK
↓
Rerank
↓
TopN
↓
Context
↓
DeepSeek
↓
Answer
十八、Day 9 最重要的知识点
这一天最重要的不是记住 API,而是理解整个检索体系。
1. Chunk Size
决定:
检索粒度。
2. Chunk Overlap
解决:
Chunk 边界造成的语义丢失。
3. Recall
关注:
正确答案有没有被召回。
关键词:
别漏
4. Precision
关注:
召回结果是不是足够相关。
关键词:
别杂
5. TopK
决定:
Vector Search 返回多少候选。
6. Rerank
负责:
对候选结果进行更加精细的相关性排序。
7. TopN
决定:
Rerank 后最终交给 LLM 多少结果。
8. Metadata Filter
核心思想:
先缩小搜索范围,再进行 Vector Search。
9. Hybrid Search
核心思想:
Vector Search + Keyword Search。
十九、Day 9 的核心公式
如果只让我记住一句话,我会记:
Vector Search 保证 Recall
Rerank 提升 Precision
再进一步:
Vector Search = 粗排
Rerank = 精排
最终:
粗排 → 精排 → LLM
这也是从“能运行的 RAG”走向“真正可用的 RAG”的重要一步。
二十、Day 9 实践成果
Day 9 最终完成了一个真实的两阶段 RAG 检索流程:
Python
↓
SiliconFlow Embedding
↓
Chroma Vector DB
↓
Vector Search
↓
TopK
↓
SiliconFlow Rerank API
↓
TopN
↓
DeepSeek
↓
最终回答
并且实际验证:
用户:
公司在哪里办公?
Vector Search:
公司的办公地点位于上海。
↓
Rerank:
0.9749
↓
DeepSeek:
公司的办公地点位于上海。
至此,我已经不只是知道:
“RAG 是向量搜索 + LLM。”
而是开始理解:
一个真正可用的 RAG,核心竞争力很大一部分来自 Retrieval,而不仅仅是 LLM。
Day 8 解决的是:
如何把 RAG 跑起来。
Day 9 解决的是:
如何让 RAG 找得更准。