引言
在信息爆炸的时代，如何快速、准确地检索信息是一个亟待解决的问题。自查询检索器（Self-Query Retriever）作为一种新兴的技术，结合了自然语言处理和向量检索的优势，提供了一种在语义层面上更加智能的数据检索方法。本文将详细介绍如何实现自查询检索器，并展示其实用的代码示例。
主要内容
什么是自查询检索器？
自查询检索器通过构建查询的语言模型链（LLM Chain），将自然语言查询转化为结构化查询，应用于其底层的向量存储（VectorStore）。这不仅能够在语义层面比较用户输入的查询和存储文档内容，还能够从查询中提取过滤条件，执行更为精准的检索。
使用Chroma向量存储创建自查询检索器
在本文中，我们将使用Chroma向量存储进行演示，并创建一个小型的电影概要文档集。以下是所需的环境安装：
%pip install --upgrade --quiet lark langchain-chroma # 安装必要包
准备数据
首先，我们需要准备一些用于检索的文档：
from langchain_chroma import Chroma
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
docs = [
Document(
page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
),
# ... 其他文档数据
]
vectorstore = Chroma.from_documents(docs, OpenAIEmbeddings()) # 使用API代理服务提高访问稳定性
创建自查询检索器
接下来，我们将实例化自查询检索器，需要提供关于文档元数据的描述信息：
from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import ChatOpenAI
metadata_field_info = [
AttributeInfo(
name="genre",
description="The genre...",
type="string",
),
# ... 其他元数据字段
]
document_content_description = "Brief summary of a movie"
llm = ChatOpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
llm,
vectorstore,
document_content_description,
metadata_field_info,
)
代码示例
以下是如何使用自查询检索器的示例：
# 仅指定过滤器
retriever.invoke("I want to watch a movie rated higher than 8.5")
# 指定查询和过滤器
retriever.invoke("Has Greta Gerwig directed any movies about women")
常见问题和解决方案
网络限制
由于某些地区的网络限制，开发者可能需要考虑使用API代理服务，以提高访问稳定性。
查询构造中使用不当
确保在构造查询时，使用正确的元数据字段名称和类型，这对于提高检索准确性至关重要。
总结和进一步学习资源
自查询检索器为我们提供了一种更加智能和灵活的数据检索方法，适用于各种需要语义理解的应用场景。要深入学习这一技术，可以参考以下资源：
参考资料
- LangChain 官方文档
- OpenAI API 官方文档
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
