引言
在当今信息爆炸的时代，构建一个高效的检索系统至关重要。自查询检索器是一种能够自我提问和构建查询的智能系统，它能够根据自然语言查询构造结构化查询，并将其应用于底层的向量存储。这种方法不仅能够基于语义相似性进行检索，还能根据元数据进行筛选，从而显著提高查询结果的相关性和精度。
主要内容
什么是自查询检索器？
自查询检索器是利用查询构造链和向量存储相结合的系统。它利用LLM（大型语言模型）生成的链条，根据用户的自然语言输入，生成相应的结构化查询。这种结构化查询不仅匹配文档内容，还能基于元数据进行筛选，如电影的类型、年份、导演等。
使用Chroma向量存储示例
为了演示自查询检索器的功能，我们使用Chroma向量存储，并创建一组包含电影摘要的小文档集。值得注意的是，自查询检索器要求安装 lark 包。
%pip install --upgrade --quiet lark langchain-chroma
from langchain_chroma import Chroma
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
docs = [
Document(
page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
),
# 更多文档...
]
vectorstore = Chroma.from_documents(docs, OpenAIEmbeddings()) # 使用API代理服务提高访问稳定性
创建自查询检索器
为了创建自查询检索器，我们需要提供文档元数据字段的信息以及文档内容的简要描述：
from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import ChatOpenAI
metadata_field_info = [
AttributeInfo(
name="genre",
description="The genre of the movie. One of ['science fiction', 'comedy', 'drama', 'thriller', 'romance', 'action', 'animated']",
type="string",
),
# 更多属性...
]
document_content_description = "Brief summary of a movie"
llm = ChatOpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
llm,
vectorstore,
document_content_description,
metadata_field_info,
)
测试自查询检索器
创建完自查询检索器后，我们可以通过自然语言查询进行检索：
# 只指定一个过滤器
retriever.invoke("I want to watch a movie rated higher than 8.5")
常见问题和解决方案
潜在的挑战
- 复杂查询构建：需要确保查询构建链能够准确解析和构建结构化查询。
- API访问限制：在某些地区，访问API可能受到限制，可以考虑使用API代理服务。
解决方案
- 调整查询构建提示和示例，优化检索结果。
- 利用代理服务，确保在受限网络环境下的API访问稳定性。
总结和进一步学习资源
自查询检索器通过智能地解析和使用用户查询，使得信息检索变得更加高效和精准。通过结合LLM和向量存储，我们能够构建具有高度智能和灵活性的检索系统。
参考资料
- Langchain文档：www.langchain.com/docs/
- Chroma向量存储：www.chromadb.com/
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
