核心思想
检索用的向量和返回给 LLM 的内容不是同一个东西时,用 MultiVectorRetriever。
它维护一个 N:1 的关系:一个原始文档可以挂多条"替身"向量(摘要/假设问题/子块),命中任意一条都能通过 doc_id 换回完整原文。
替身向量(N 条,存向量库) ──metadata里的doc_id──> 原始文档(1 份,存 docstore)
通用骨架代码
所有场景共用同一套结构:
from langchain_classic.retrievers import MultiVectorRetriever
from langchain_chroma import Chroma
from langchain_core.stores import InMemoryByteStore
import uuid
vectorstore = Chroma(collection_name="summaries", embedding_function=embeddings_model)
store = InMemoryByteStore()
id_key = "doc_id" # 关联字段名,三处引用必须一致
retriever = MultiVectorRetriever(
vectorstore=vectorstore, # 检索入口:存"替身"向量
byte_store=store, # 内容仓库:存原始文档
id_key=id_key, # 两库之间的"钥匙"字段名
)
# ① 每个原文档生成唯一 ID
doc_ids = [str(uuid.uuid4()) for _ in docs]
# ② 替身向量入库,metadata 埋钥匙
retriever.vectorstore.add_documents(sub_docs) # sub_docs 的 metadata 带 doc_id
# ③ 原文档入库,同一批 ID 做钥匙
retriever.docstore.mset(list(zip(doc_ids, docs)))
检索时 retriever.invoke(query) 内部自动完成:
- 向量库搜替身 → 2. 取
metadata[id_key]→ 3.docstore.mget()换回原文。
场景 1:摘要索引(本项目 1.summary.py 演示的)
问题:长文档切成大块后向量语义被稀释,检索不准;切小块又丢上下文。
做法:LLM 为每个大块生成摘要,摘要向量化入库(检索用),原文存 docstore(回答用)。
# 摘要生成链(batch 并发生成)
chain = (
{"doc": lambda x: x.page_content}
| ChatPromptTemplate.from_template("总结下面的文档:\n\n{doc}")
| client
| StrOutputParser()
)
summaries = chain.batch(docs, {"max_concurrency": 5})
# 摘要转 Document,metadata 埋 doc_id
summary_docs = [
Document(page_content=s, metadata={id_key: doc_ids[i]})
for i, s in enumerate(summaries)
]
retriever.vectorstore.add_documents(summary_docs)
retriever.docstore.mset(list(zip(doc_ids, docs)))
代价:
- 摘要质量决定检索效果,摘要太粗糙 = 直接失效
- 存储翻倍:摘要向量 + 全部原文
- 删改时两库必须同步(靠 UUID 关联)
场景 2:假设问题索引
问题:用户用"问句"提问,文档是"陈述句",语义空间不对齐。文档写"2023年7月成立",用户问"公司什么时候成立的",召回率低。
做法:为每个文档块预先生成它可能回答的多个问题,把问题向量化入库。用户问题和假设问题同为问句,匹配更准。
# 为每个块生成 3 个假设问题
questions_chain = (
{"doc": lambda x: x.page_content}
| ChatPromptTemplate.from_template(
"根据下面的文档内容,生成3个它能够回答的问题,每行一个:\n\n{doc}"
)
| client
| StrOutputParser()
)
questions_list = questions_chain.batch(docs, {"max_concurrency": 5})
# 一个文档拆出多个假设问题(N:1),全部指向同一个 doc_id
question_docs = []
for i, questions in enumerate(questions_list):
for q in questions.strip().split("\n"):
question_docs.append(Document(page_content=q, metadata={id_key: doc_ids[i]}))
retriever.vectorstore.add_documents(question_docs) # 问句入库
retriever.docstore.mset(list(zip(doc_ids, docs))) # 陈述句原文入库
检索:用户问句 → 命中假设问句 → 返回陈述句原文。
场景 3:父子块索引(小块检索、大块回答)
问题:切块两难。小块检索准但信息碎,大块完整但检索糊。
做法:大块(父)再切小块(子),子块向量化入库,父块存 docstore,子块通过 doc_id 指回父块。生产级 RAG 的标准配置之一。
# 父块:大块
parent_splitter = RecursiveCharacterTextSplitter(chunk_size=2000, chunk_overlap=200)
# 子块:小块
child_splitter = RecursiveCharacterTextSplitter(chunk_size=256, chunk_overlap=32)
parent_docs = parent_splitter.split_documents(docs)
parent_ids = [str(uuid.uuid4()) for _ in parent_docs]
all_child_docs = []
for i, parent in enumerate(parent_docs):
children = child_splitter.split_documents([parent])
for child in children:
child.metadata[id_key] = parent_ids[i] # 每个子块都指向父块 ID
all_child_docs.extend(children)
retriever.vectorstore.add_documents(all_child_docs) # 子块入库(检索用)
retriever.docstore.mset(list(zip(parent_ids, parent_docs))) # 父块入库(回答用)
检索:问题命中 256 的小子块 → 返回 2000 的大父块,LLM 拿到完整上下文。
场景 4:多模态 / 混合表示
问题:图像/表格无法直接文本检索;或者想让一个文档同时被多种表示召回。
做法示例:
- 图像的 embedding 入库 → 命中后返回图像的文字描述
- 同一个 PDF 页面挂"页面摘要向量 + 页面标题向量",不同问法走不同表示,双路提高召回
# 同一文档挂多条向量表示(摘要 + 标题),全部指向同一 doc_id
representations = [
Document(page_content=summary, metadata={id_key: doc_id}), # 摘要表示
Document(page_content=title, metadata={id_key: doc_id}), # 标题表示
]
retriever.vectorstore.add_documents(representations)
retriever.docstore.mset([(doc_id, full_doc)])
附加课外知识:多模态图片存储与双模态检索(CLIP)
此节为课外扩展,与本项目代码无直接关系,用于理解"图片参与向量检索"的通用做法。
核心认知:向量库是"模态无关"的
Chroma 里存的只是 float 数组 + metadata,它不知道向量是文本变的还是图片变的。 多模态发生在编码阶段(模型的事),不在存储阶段(库的事)。 图片本体永远躺在磁盘/对象存储上,库里只存"向量 + 指回图片的 URL"。
CLIP 双塔是什么
- CLIP 是具体模型(OpenAI 2021),"双塔"是架构模式:一个模型内含两个编码器
- 通过对比学习训练,把"图"和"它的文字描述"编码进同一个向量空间(同维度只是表象,同空间才是关键)
- 同类模型:Chinese-CLIP(中文)、SigLIP、jina-clip 等
┌─ 文本塔(Text Encoder) ──→ embed_query("折线图") ──┐
CLIP 模型 ──→ │ ├─→ 同一个512维空间 → 算余弦相似度
└─ 图像塔(Image Encoder) ─→ embed_images(img) ──────┘
存储:图片向量入库(LangChain 用 OpenCLIPEmbeddings)
pip install langchain-experimental open-clip-torch pillow
from langchain_experimental.open_clip import OpenCLIPEmbeddings
import chromadb
from PIL import Image
clip = OpenCLIPEmbeddings(model_name="ViT-B-32", checkpoint="laion2b_s34b_b79k")
# ── 入库:图片走图像塔,手动编码(Chroma 不会自动调 embed_images)──
image_paths = ["img/1.jpg", "img/2.jpg"]
img_vecs = clip.embed_images([Image.open(p) for p in image_paths])
client = chromadb.PersistentClient(path="./mm_db") # 持久化,重启不丢
col = client.get_or_create_collection("images")
col.add(
ids=["img-1", "img-2"],
embeddings=img_vecs,
metadatas=[{"url": p} for p in image_paths], # 指回图片本体
)
存储结构(库里没有图片,只有坐标和指针):
┌────────┬──────────────────┬──────────────────────┐
│ id │ embedding │ metadata │
├────────┼──────────────────┼──────────────────────┤
│ img-1 │ [0.12, -0.8...] │ {"url": "img/1.jpg"} │
└────────┴──────────────────┴──────────────────────┘
检索:走哪个塔,就决定什么检索方式
# 方式1:文搜图 —— query 走文本塔
q_vec = clip.embed_query("一张营收增长的折线图") # 文本塔编码
res = col.query(query_embeddings=[q_vec], n_results=3)
# 方式2:图搜图 —— query 走图像塔(同一个库,什么都不用改)
q_vec = clip.embed_images([Image.open("query.jpg")]) # 图像塔编码
res = col.query(query_embeddings=q_vec, n_results=3)
库里只存一份图像向量;"文搜图"和"图搜图"的区别只是 query 编码入口不同。
命中后:res["metadatas"] 里的 url → 取出图片 → 塞给 Qwen-VL/GPT-4o 看图回答。
关键陷阱:不同模型的向量不能混库
- 写入和查询必须用同一个模型(换模型 = 整库重新灌入)
- 项目已有的 DashScope 文本向量(text-embedding-v3)和 CLIP 向量不在一个空间,不能塞同一个 collection 互查
- 生产做法是双库双路召回:文本走 DashScope 库、图片走 CLIP 库,两路结果合并后交给多模态 LLM
配套检索 API 备注
# similarity_search:文本进来,库自动用 embedding_function 编码后再搜
# similarity_search_by_vector:自带向量直通(绕开默认编码器,CLIP 向量必须走这个)
# vectorstore._collection.query(...):下探到 chromadb 原生层,支持批量/高级过滤/include=["embeddings"]
# col.get(where={"source": ...}):按 metadata 取数(无相似度),用于增量更新的"查旧删旧"
一张表总结
| 场景 | 入库的"替身" | 换回的"原文" | 解决的痛点 |
|---|---|---|---|
| 摘要索引 | LLM 摘要 | 大块原文 | 长文本语义稀释 |
| 假设问题 | 预生成问句 | 陈述句原文 | 问句 vs 陈述句不对齐 |
| 父子块 | 子块(小) | 父块(大) | 检索精度 vs 上下文完整 |
| 多模态/混合 | 图像向量 / 多种文本表示 | 关联内容 | 跨模态、多问法召回 |
一句话:凡是"用什么表示做检索最有效"和"给 LLM 什么内容最完整"答案不一致时,就是 MultiVectorRetriever 的用武之地。