实现多检索器的结果融合：使用EnsembleRetriever提升检索效果

用户850429986511
240 阅读3分钟

引言

在信息检索领域，如何提高检索结果的准确性始终是一个值得关注的问题。通过结合多种检索算法的优势，我们能够获得比单一算法更优异的性能表现。本文将介绍如何使用EnsembleRetriever来实现多个检索器的结果融合，特别是结合稀疏检索器（例如BM25）和密集检索器（例如FAISS向量存储）的优势，进行所谓的“混合搜索”。

主要内容

1. EnsembleRetriever简介

EnsembleRetriever是一个用于合并多个检索结果的工具。它通过Reciprocal Rank Fusion算法对各个组成检索器的结果进行重新排名。通过这种方式，可以充分利用每种算法的特长来提升整体性能。

常见的模式是结合稀疏检索器（例如BM25）和密集检索器（例如基于向量的相似度计算）。稀疏检索器擅长基于关键词找到相关文档，而密集检索器则擅长基于语义相似度找到相关文档。

2. 使用EnsembleRetriever进行混合搜索

下面演示如何将BM25Retriever与FAISS向量存储结合起来。

%pip install --upgrade --quiet rank_bm25 > /dev/null

from langchain.retrievers import EnsembleRetriever
from langchain_community.retrievers import BM25Retriever
from langchain_community.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings

# 使用API代理服务提高访问稳定性
doc_list_1 = [
    "I like apples",
    "I like oranges",
    "Apples and oranges are fruits",
]

bm25_retriever = BM25Retriever.from_texts(
    doc_list_1, metadatas=[{"source": 1}] * len(doc_list_1)
)
bm25_retriever.k = 2

doc_list_2 = [
    "You like apples",
    "You like oranges",
]

embedding = OpenAIEmbeddings()
faiss_vectorstore = FAISS.from_texts(
    doc_list_2, embedding, metadatas=[{"source": 2}] * len(doc_list_2)
)
faiss_retriever = faiss_vectorstore.as_retriever(search_kwargs={"k": 2})

ensemble_retriever = EnsembleRetriever(
    retrievers=[bm25_retriever, faiss_retriever], weights=[0.5, 0.5]
)

docs = ensemble_retriever.invoke("apples")
print(docs)

3. 动态配置检索器

可以在运行时配置各个检索器的参数。下面是如何动态更新FAISS检索器的“top-k”参数的示例。

from langchain_core.runnables import ConfigurableField

faiss_retriever = faiss_vectorstore.as_retriever(
    search_kwargs={"k": 2}
).configurable_fields(
    search_kwargs=ConfigurableField(
        id="search_kwargs_faiss",
        name="Search Kwargs",
        description="The search kwargs to use",
    )
)

ensemble_retriever = EnsembleRetriever(
    retrievers=[bm25_retriever, faiss_retriever], weights=[0.5, 0.5]
)

config = {"configurable": {"search_kwargs_faiss": {"k": 1}}}
docs = ensemble_retriever.invoke("apples", config=config)
print(docs)

常见问题和解决方案

  • 网络限制：由于某些地区的网络限制，使用API时可能会遇到访问不稳定的问题。建议使用API代理服务来提高访问的稳定性。
  • 权重配置：不同检索器的权重配置对结果影响很大，根据具体场景进行调整。
  • 参数调整：可以通过ConfigurableField动态调整各检索器的参数以满足不同的业务需求。

总结和进一步学习资源

本文介绍了如何结合多种检索算法来提升信息检索的效果，并提供了一些实用的代码示例。建议读者参考以下资源以深入学习：

参考资料

  1. LangChain框架官方文档
  2. Reciprocal Rank Fusion算法

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝