MultiVectorRetriever 应用场景

3 阅读7分钟

核心思想

检索用的向量和返回给 LLM 的内容不是同一个东西时,用 MultiVectorRetriever。

它维护一个 N:1 的关系:一个原始文档可以挂多条"替身"向量(摘要/假设问题/子块),命中任意一条都能通过 doc_id 换回完整原文。

替身向量(N 条,存向量库) ──metadata里的doc_id──> 原始文档(1 份,存 docstore)

通用骨架代码

所有场景共用同一套结构:

from langchain_classic.retrievers import MultiVectorRetriever
from langchain_chroma import Chroma
from langchain_core.stores import InMemoryByteStore
import uuid

vectorstore = Chroma(collection_name="summaries", embedding_function=embeddings_model)
store = InMemoryByteStore()
id_key = "doc_id"   # 关联字段名,三处引用必须一致

retriever = MultiVectorRetriever(
    vectorstore=vectorstore,   # 检索入口:存"替身"向量
    byte_store=store,          # 内容仓库:存原始文档
    id_key=id_key,             # 两库之间的"钥匙"字段名
)

# ① 每个原文档生成唯一 ID
doc_ids = [str(uuid.uuid4()) for _ in docs]

# ② 替身向量入库,metadata 埋钥匙
retriever.vectorstore.add_documents(sub_docs)   # sub_docs 的 metadata 带 doc_id

# ③ 原文档入库,同一批 ID 做钥匙
retriever.docstore.mset(list(zip(doc_ids, docs)))

检索时 retriever.invoke(query) 内部自动完成:

  1. 向量库搜替身 → 2. 取 metadata[id_key] → 3. docstore.mget() 换回原文。

场景 1:摘要索引(本项目 1.summary.py 演示的)

问题:长文档切成大块后向量语义被稀释,检索不准;切小块又丢上下文。

做法:LLM 为每个大块生成摘要,摘要向量化入库(检索用),原文存 docstore(回答用)。

# 摘要生成链(batch 并发生成)
chain = (
    {"doc": lambda x: x.page_content}
    | ChatPromptTemplate.from_template("总结下面的文档:\n\n{doc}")
    | client
    | StrOutputParser()
)
summaries = chain.batch(docs, {"max_concurrency": 5})

# 摘要转 Document,metadata 埋 doc_id
summary_docs = [
    Document(page_content=s, metadata={id_key: doc_ids[i]})
    for i, s in enumerate(summaries)
]
retriever.vectorstore.add_documents(summary_docs)
retriever.docstore.mset(list(zip(doc_ids, docs)))

代价:

  • 摘要质量决定检索效果,摘要太粗糙 = 直接失效
  • 存储翻倍:摘要向量 + 全部原文
  • 删改时两库必须同步(靠 UUID 关联)

场景 2:假设问题索引

问题:用户用"问句"提问,文档是"陈述句",语义空间不对齐。文档写"2023年7月成立",用户问"公司什么时候成立的",召回率低。

做法:为每个文档块预先生成它可能回答的多个问题,把问题向量化入库。用户问题和假设问题同为问句,匹配更准。

# 为每个块生成 3 个假设问题
questions_chain = (
    {"doc": lambda x: x.page_content}
    | ChatPromptTemplate.from_template(
        "根据下面的文档内容,生成3个它能够回答的问题,每行一个:\n\n{doc}"
    )
    | client
    | StrOutputParser()
)
questions_list = questions_chain.batch(docs, {"max_concurrency": 5})

# 一个文档拆出多个假设问题(N:1),全部指向同一个 doc_id
question_docs = []
for i, questions in enumerate(questions_list):
    for q in questions.strip().split("\n"):
        question_docs.append(Document(page_content=q, metadata={id_key: doc_ids[i]}))

retriever.vectorstore.add_documents(question_docs)   # 问句入库
retriever.docstore.mset(list(zip(doc_ids, docs)))    # 陈述句原文入库

检索:用户问句 → 命中假设问句 → 返回陈述句原文。


场景 3:父子块索引(小块检索、大块回答)

问题:切块两难。小块检索准但信息碎,大块完整但检索糊。

做法:大块(父)再切小块(子),子块向量化入库,父块存 docstore,子块通过 doc_id 指回父块。生产级 RAG 的标准配置之一。

# 父块:大块
parent_splitter = RecursiveCharacterTextSplitter(chunk_size=2000, chunk_overlap=200)
# 子块:小块
child_splitter = RecursiveCharacterTextSplitter(chunk_size=256, chunk_overlap=32)

parent_docs = parent_splitter.split_documents(docs)

parent_ids = [str(uuid.uuid4()) for _ in parent_docs]

all_child_docs = []
for i, parent in enumerate(parent_docs):
    children = child_splitter.split_documents([parent])
    for child in children:
        child.metadata[id_key] = parent_ids[i]   # 每个子块都指向父块 ID
    all_child_docs.extend(children)

retriever.vectorstore.add_documents(all_child_docs)          # 子块入库(检索用)
retriever.docstore.mset(list(zip(parent_ids, parent_docs)))  # 父块入库(回答用)

检索:问题命中 256 的小子块 → 返回 2000 的大父块,LLM 拿到完整上下文。


场景 4:多模态 / 混合表示

问题:图像/表格无法直接文本检索;或者想让一个文档同时被多种表示召回。

做法示例:

  • 图像的 embedding 入库 → 命中后返回图像的文字描述
  • 同一个 PDF 页面挂"页面摘要向量 + 页面标题向量",不同问法走不同表示,双路提高召回
# 同一文档挂多条向量表示(摘要 + 标题),全部指向同一 doc_id
representations = [
    Document(page_content=summary, metadata={id_key: doc_id}),   # 摘要表示
    Document(page_content=title, metadata={id_key: doc_id}),     # 标题表示
]
retriever.vectorstore.add_documents(representations)
retriever.docstore.mset([(doc_id, full_doc)])

附加课外知识:多模态图片存储与双模态检索(CLIP)

此节为课外扩展,与本项目代码无直接关系,用于理解"图片参与向量检索"的通用做法。

核心认知:向量库是"模态无关"的

Chroma 里存的只是 float 数组 + metadata,它不知道向量是文本变的还是图片变的。 多模态发生在编码阶段(模型的事),不在存储阶段(库的事)。 图片本体永远躺在磁盘/对象存储上,库里只存"向量 + 指回图片的 URL"。

CLIP 双塔是什么

  • CLIP 是具体模型(OpenAI 2021),"双塔"是架构模式:一个模型内含两个编码器
  • 通过对比学习训练,把"图"和"它的文字描述"编码进同一个向量空间(同维度只是表象,同空间才是关键)
  • 同类模型:Chinese-CLIP(中文)、SigLIP、jina-clip 等
                ┌─ 文本塔(Text Encoder) ──→ embed_query("折线图") ──┐
CLIP 模型 ──→   │                                                     ├─→ 同一个512维空间 → 算余弦相似度
                └─ 图像塔(Image Encoder) ─→ embed_images(img) ──────┘

存储:图片向量入库(LangChain 用 OpenCLIPEmbeddings)

pip install langchain-experimental open-clip-torch pillow
from langchain_experimental.open_clip import OpenCLIPEmbeddings
import chromadb
from PIL import Image

clip = OpenCLIPEmbeddings(model_name="ViT-B-32", checkpoint="laion2b_s34b_b79k")

# ── 入库:图片走图像塔,手动编码(Chroma 不会自动调 embed_images)──
image_paths = ["img/1.jpg", "img/2.jpg"]
img_vecs = clip.embed_images([Image.open(p) for p in image_paths])

client = chromadb.PersistentClient(path="./mm_db")       # 持久化,重启不丢
col = client.get_or_create_collection("images")
col.add(
    ids=["img-1", "img-2"],
    embeddings=img_vecs,
    metadatas=[{"url": p} for p in image_paths],          # 指回图片本体
)

存储结构(库里没有图片,只有坐标和指针):

┌────────┬──────────────────┬──────────────────────┐
│ id     │ embedding        │ metadata             │
├────────┼──────────────────┼──────────────────────┤
│ img-1  │ [0.12, -0.8...]  │ {"url": "img/1.jpg"} │
└────────┴──────────────────┴──────────────────────┘

检索:走哪个塔,就决定什么检索方式

# 方式1:文搜图 —— query 走文本塔
q_vec = clip.embed_query("一张营收增长的折线图")      # 文本塔编码
res = col.query(query_embeddings=[q_vec], n_results=3)

# 方式2:图搜图 —— query 走图像塔(同一个库,什么都不用改)
q_vec = clip.embed_images([Image.open("query.jpg")])  # 图像塔编码
res = col.query(query_embeddings=q_vec, n_results=3)

库里只存一份图像向量;"文搜图"和"图搜图"的区别只是 query 编码入口不同。

命中后:res["metadatas"] 里的 url → 取出图片 → 塞给 Qwen-VL/GPT-4o 看图回答。

关键陷阱:不同模型的向量不能混库

  • 写入和查询必须用同一个模型(换模型 = 整库重新灌入)
  • 项目已有的 DashScope 文本向量(text-embedding-v3)和 CLIP 向量不在一个空间,不能塞同一个 collection 互查
  • 生产做法是双库双路召回:文本走 DashScope 库、图片走 CLIP 库,两路结果合并后交给多模态 LLM

配套检索 API 备注

# similarity_search:文本进来,库自动用 embedding_function 编码后再搜
# similarity_search_by_vector:自带向量直通(绕开默认编码器,CLIP 向量必须走这个)
# vectorstore._collection.query(...):下探到 chromadb 原生层,支持批量/高级过滤/include=["embeddings"]
# col.get(where={"source": ...}):按 metadata 取数(无相似度),用于增量更新的"查旧删旧"

一张表总结

场景入库的"替身"换回的"原文"解决的痛点
摘要索引LLM 摘要大块原文长文本语义稀释
假设问题预生成问句陈述句原文问句 vs 陈述句不对齐
父子块子块(小)父块(大)检索精度 vs 上下文完整
多模态/混合图像向量 / 多种文本表示关联内容跨模态、多问法召回

一句话:凡是"用什么表示做检索最有效"和"给 LLM 什么内容最完整"答案不一致时,就是 MultiVectorRetriever 的用武之地。