引言
信息检索技术在人工智能和数据处理领域中扮演着至关重要的角色。一个自查询检索器是一个能够根据自然语言查询自我构建结构化查询的系统。这种检索器不仅能够使用用户输入的查询进行语义相似性比较，还可以根据存储文档的元数据提取过滤器，并执行这些过滤器。在这篇文章中，我们将深入探讨如何实现一个自查询检索器。
主要内容
什么是自查询检索器？
自查询检索器通过使用一个查询构建链，将自然语言查询转换为结构化查询，然后将其应用到底层的VectorStore。这使得检索器能够利用用户查询的语义信息，同时利用存储文档的元数据进行过滤。
如何创建自查询检索器
在本示例中，我们将使用Chroma向量存储，并利用一个包含电影摘要的小型数据集。
from langchain_chroma import Chroma
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
docs = [
Document(
page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
),
# 更多文档...
]
vectorstore = Chroma.from_documents(docs, OpenAIEmbeddings()) # 使用API代理服务提高访问稳定性
定义元数据
元数据描述文档的属性和类型，这对于自查询检索器的构建至关重要。
from langchain.chains.query_constructor.base import AttributeInfo
metadata_field_info = [
AttributeInfo(
name="genre",
description="The genre of the movie. One of ['science fiction', 'comedy', 'drama', 'thriller', 'romance', 'action', 'animated']",
type="string",
),
# 更多属性...
]
实例化检索器
创建一个基于LLM的检索器，并配置其所需的信息。
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
llm,
vectorstore,
"Brief summary of a movie",
metadata_field_info,
)
代码示例
使用自查询检索器
现在可以通过调用invoke方法来执行查询。
# 示例：指定一个过滤条件
result = retriever.invoke("I want to watch a movie rated higher than 8.5")
print(result)
常见问题和解决方案
- 网络访问问题：由于某些地区的网络限制，访问API可能不稳定。使用API代理服务可以提高访问稳定性。
- 调试查询构造：在处理复杂查询时，可能需要调整提示和属性描述，以确保构造正确的结构化查询。
总结和进一步学习资源
自查询检索器在智能信息检索中具有强大的应用潜力。通过结合LLM和向量存储，我们可以创建更智能和灵活的检索系统。有关更多详细信息和高级用法，建议查阅LangChain文档和相关API参考。
参考资料
- LangChain 文档
- Chroma API参考
- OpenAI Embeddings 使用指南
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
