Day 9:RAG 检索优化——从 TopK 到 Rerank,让知识库检索更准确

29 阅读9分钟

Day 9:RAG 检索优化——从 TopK 到 Rerank,让知识库检索更准确

在 Day 8 中,我已经使用 Python + SiliconFlow Embedding + Chroma + DeepSeek 搭建了一个最小可运行的 RAG。

完整流程是:

用户问题
    ↓
Embedding
    ↓
Vector Search
    ↓
TopK
    ↓
Context
    ↓
DeepSeek
    ↓
回答

虽然这个 RAG 已经能够工作,但是很快会遇到一个实际问题:

向量检索找到的内容,真的都是最相关的吗?

答案通常是否定的。

因此 Day 9 的重点,就是学习如何提高 RAG 的检索准确率。


一、为什么 RAG 需要检索优化?

假设知识库里面有:

公司工资于每月15日发放。

公司工作时间为周一至周五,每天上午9点到下午6点。

员工入职满一年后可以享受带薪年假。

公司每周五下午提供下午茶。

公司的办公地点位于上海。

用户提问:

公司在哪里办公?

通过 Embedding + Vector Search,我们可能得到:

公司的办公地点位于上海。
公司工作时间为周一至周五,每天上午9点到下午6点。
公司工资于每月15日发放。
公司每周五下午提供下午茶。
员工入职满一年后可以享受带薪年假。

第一条显然非常相关。

但是后面的内容其实与问题没有太大关系。

如果知识库有几万甚至几十万个 Chunk,这个问题会更加明显。

因此 RAG 的检索通常不能简单理解成:

问题 → 向量搜索 → 直接交给 LLM

而是需要一个更加完整的检索体系。


二、Chunk Size

Chunk Size 指的是:

一个 Chunk 应该包含多少内容。

例如一篇很长的文档:

公司简介……
公司历史……
公司组织架构……
工资制度……
请假制度……
年假制度……
福利制度……

如果全部作为一个 Chunk:

Chunk 1
↓
整篇文档

那么虽然能够进行检索,但是粒度太粗。

用户问:

公司工资什么时候发?

实际上我们只需要:

公司工资于每月15日发放。

而不是把整个公司制度都塞给 LLM。

所以需要 Chunking:

原始文档
   ↓
Chunk 1
Chunk 2
Chunk 3
Chunk 4
...

三、Chunk Size 太大和太小都不好

Chunk 太大:

一个 Chunk 包含大量不同主题

可能导致:

  • 语义被稀释
  • 检索结果包含大量无关内容
  • LLM Context 变大
  • Token 成本增加

Chunk 太小:

一个 Chunk 只有一句话甚至半句话

又可能导致:

  • 上下文不完整
  • 一个完整语义被拆散
  • 检索结果缺少必要信息

所以 Chunk Size 本质上是在寻找:

检索粒度和上下文完整性之间的平衡。


四、Chunk Overlap

Chunk Overlap 是解决 Chunk 边界问题的重要方法。

例如原文:

A B C D E F G H

如果每个 Chunk 4 个词,并且完全不重叠:

Chunk 1:A B C D
Chunk 2:E F G H

那么如果一个完整语义刚好跨越:

D E

就可能被拆开。

因此可以加入 Overlap:

Chunk 1:A B C D
Chunk 2:C D E F
Chunk 3:E F G H

这样相邻 Chunk 之间会保留一部分重叠内容。

核心目的:

减少因为 Chunk 边界导致的语义丢失。


五、Recall 和 Precision

这是 Day 9 非常重要的两个概念。

1. Recall

Recall 可以简单理解成:

正确答案有没有被检索出来?

例如真正相关的 Chunk 是:

A

Vector Search 返回:

B
C
A
D

虽然 A 排在第三,但是 A 被找到了。

所以 Recall 是好的。

一句话:

Recall 关注“别漏”。


2. Precision

Precision 更关注:

找出来的东西到底有多少是真正相关的。

例如:

A ← 相关
B ← 无关
C ← 无关
D ← 无关

如果返回:

A
B
C
D

虽然没有漏掉 A,但是无关内容太多。

Precision 就比较差。

一句话:

Precision 关注“别杂”。


六、TopK

TopK 指的是:

Vector Search 最终返回多少个候选结果。

例如:

Vector Search
    ↓
TopK = 5

就是取最相关的 5 个结果。

假设:

10000 个 Chunk
      ↓
Vector Search
      ↓
TopK = 5

最终只需要处理 5 个候选。


七、TopK 不是越大越好

例如:

TopK = 3

可能出现:

真正答案没有被召回

Recall 降低。

但是如果:

TopK = 100

虽然召回更多内容,但是:

  • 无关内容增加
  • Context 变大
  • Token 消耗增加
  • LLM 注意力被干扰
  • 后续处理成本增加

所以:

TopK 太小,可能漏;TopK 太大,可能杂。

这也是为什么实际 RAG 通常需要后面的 Rerank。


八、Rerank 是什么?

Rerank 可以理解成:

对 Vector Search 找出来的候选结果进行第二次、更精细的相关性判断。

传统 Vector Search:

Question → Embedding
Document → Embedding

Question Vector
      ↓
Vector Search
      ↓
相似度排序

而 Rerank 是:

Question + Document
        ↓
   Rerank Model
        ↓
相关性评分
        ↓
重新排序

所以两者的区别非常重要。


九、为什么需要两阶段检索?

假设知识库有:

100000 个 Chunk

我们不可能让 Rerank 模型把 100000 个 Chunk 全部重新判断。

所以采用:

100000 个 Chunk
       ↓
Vector Search
       ↓
TopK = 20
       ↓
Rerank
       ↓
TopN = 3

也就是:

先粗排,再精排。

可以记住一句话:

Vector Search 保证 Recall,Rerank 提升 Precision。


十、我使用 SiliconFlow 接入真实 Rerank API

Day 9 前面我曾经用简单的关键词匹配模拟 Rerank。

例如:

if "办公地点" in question and "办公地点" in document:
    score = 0.95

这种方式只是为了理解 Rerank 的工作流程。

但它有一个明显问题:

用户问:

公司在哪里办公?

知识库:

公司的办公地点位于上海。

两个句子的关键词并不完全一致。

简单关键词匹配可能认为它们不相关。

而真正的 Rerank 模型能够理解:

在哪里办公
≈
办公地点

因此 Day 9 最后,我把模拟 Rerank 替换成了真实的 SiliconFlow Rerank API。

SiliconFlow 提供 /v1/rerank 接口,可以传入 query 和多个 documents,返回每个文档的 relevance_score。本次实验使用的是 BAAI/bge-reranker-v2-m3。


十一、真实 Rerank 实验

用户问题:

公司在哪里办公?

首先进行 Vector Search:

Vector Search TopK:

0.9697 - 公司的办公地点位于上海。
1.1097 - 公司工作时间为周一至周五,每天上午9点到下午6点。
1.2247 - 公司工资于每月15日发放。
1.2281 - 公司每周五下午提供下午茶。
1.4267 - 员工入职满一年后可以享受带薪年假。

可以看到:

公司的办公地点位于上海。

排在第一。

但是后面还有一些明显无关的内容。

接下来进入 Rerank。


十二、Rerank 后的结果

真实 Rerank:

0.9749 - 公司的办公地点位于上海。
0.0384 - 公司工作时间为周一至周五,每天上午9点到下午6点。
0.0002 - 公司每周五下午提供下午茶。
0.0001 - 公司工资于每月15日发放。
0.0001 - 员工入职满一年后可以享受带薪年假。

这个结果非常明显。

Rerank 模型判断:

公司在哪里办公?
        ↓
公司的办公地点位于上海。

具有非常高的相关性。

而其他内容的相关性明显降低。

这就是 Rerank 的价值。


十三、TopK 和 TopN 的区别

这次实验中:

TopK = 5

代表:

Vector Search 先找 5 个候选。

然后:

Rerank

重新排序。

最后:

top_n = 2

只保留两个结果。

所以:

TopK
↓
Vector Search 阶段
↓
候选数量

TopN
↓
Rerank 阶段
↓
最终数量

完整流程:

100000 个 Chunk
      ↓
Vector Search
      ↓
TopK = 5
      ↓
Rerank
      ↓
TopN = 2
      ↓
Context
      ↓
LLM

十四、Metadata Filter

除了向量检索,还可以利用 Metadata。

例如知识库:

{
    "text": "上海项目合同金额为100万元。",
    "metadata": {
        "projectId": "project_a"
    }
}

另外一个:

{
    "text": "北京项目合同金额为200万元。",
    "metadata": {
        "projectId": "project_b"
    }
}

用户查询:

上海项目的合同金额是多少?

如果已经知道:

projectId = project_a

那么就没必要在整个知识库里面搜索。

可以:

全部知识
   ↓
Metadata Filter
   ↓
project_a
   ↓
Vector Search

核心思想:

先缩小搜索范围,再进行 Vector Search。

这在企业知识库中特别有价值。

例如可以按照:

项目
部门
用户
文件类型
时间
权限

进行过滤。


十五、Hybrid Search

纯 Vector Search 还有一个问题:

有些信息不是“语义相似”最重要,而是“关键词必须精确匹配”。

例如:

HT-2026-002

这是一个合同编号。

用户搜索:

HT-2026-002

这种场景非常适合 Keyword Search。

因为合同编号:

HT-2026-002

就是一个非常精确的字符串。

如果只使用 Embedding:

语义相似

反而不一定是最优方案。


十六、Hybrid Search

因此可以同时使用:

Vector Search
+
Keyword Search

也就是:

Hybrid Search

例如:

用户问题:

上海项目的合同付款方式是什么?

这里同时存在:

上海项目
合同
付款方式

既有语义信息,也有关键词信息。

因此:

Vector Search
        +
Keyword Search
        ↓
Hybrid Search

通常会比单独使用一种检索方式更加稳健。


十七、Day 9 最终 RAG 架构

经过 Day 9 的学习,我的 RAG 已经从:

用户问题
   ↓
Embedding
   ↓
Vector Search
   ↓
TopK
   ↓
LLM

升级成:

知识库构建
                    │
              knowledge.txt
                    ↓
                  Chunk
                    ↓
                Embedding
                    ↓
                Vector DB
                    │
                    │
                    ↓
用户问题 → Embedding → Vector Search
                         ↓
                       TopK
                         ↓
                    Metadata Filter
                         ↓
                      Rerank
                         ↓
                       TopN
                         ↓
                     Context
                         ↓
                      DeepSeek
                         ↓
                       Answer

如果加入 Hybrid Search,则可以进一步变成:

用户问题
                       ↓
             ┌─────────┴─────────┐
             ↓                   ↓
       Vector Search       Keyword Search
             ↓                   ↓
             └─────────┬─────────┘
                       ↓
                  Hybrid Search
                       ↓
                    TopK
                       ↓
                    Rerank
                       ↓
                    TopN
                       ↓
                   Context
                       ↓
                    DeepSeek
                       ↓
                    Answer

十八、Day 9 最重要的知识点

这一天最重要的不是记住 API,而是理解整个检索体系。

1. Chunk Size

决定:

检索粒度。


2. Chunk Overlap

解决:

Chunk 边界造成的语义丢失。


3. Recall

关注:

正确答案有没有被召回。

关键词:

别漏

4. Precision

关注:

召回结果是不是足够相关。

关键词:

别杂

5. TopK

决定:

Vector Search 返回多少候选。


6. Rerank

负责:

对候选结果进行更加精细的相关性排序。


7. TopN

决定:

Rerank 后最终交给 LLM 多少结果。


8. Metadata Filter

核心思想:

先缩小搜索范围,再进行 Vector Search。


9. Hybrid Search

核心思想:

Vector Search + Keyword Search。


十九、Day 9 的核心公式

如果只让我记住一句话,我会记:

Vector Search 保证 Recall
Rerank 提升 Precision

再进一步:

Vector Search = 粗排
Rerank        = 精排

最终:

粗排 → 精排 → LLM

这也是从“能运行的 RAG”走向“真正可用的 RAG”的重要一步。


二十、Day 9 实践成果

Day 9 最终完成了一个真实的两阶段 RAG 检索流程:

Python
  ↓
SiliconFlow Embedding
  ↓
Chroma Vector DB
  ↓
Vector Search
  ↓
TopK
  ↓
SiliconFlow Rerank API
  ↓
TopN
  ↓
DeepSeek
  ↓
最终回答

并且实际验证:

用户:
公司在哪里办公?

Vector Search:
公司的办公地点位于上海。
        ↓
Rerank:
0.9749
        ↓
DeepSeek:
公司的办公地点位于上海。

至此,我已经不只是知道:

“RAG 是向量搜索 + LLM。”

而是开始理解:

一个真正可用的 RAG,核心竞争力很大一部分来自 Retrieval,而不仅仅是 LLM。

Day 8 解决的是:

如何把 RAG 跑起来。

Day 9 解决的是:

如何让 RAG 找得更准。