[Redis 和 AI:创建功能强大的向量存储和自查询检索器的完整指南]

3 阅读2分钟
# 引言

Redis 不仅仅是一个强大的开源键值存储,它还可以充当缓存、消息代理、数据库以及向量数据库。本篇文章将引导您通过实际示例,使用 Redis 作为向量存储,并利用 SelfQueryRetriever 进行自查询检索。您还将学习如何配置和使用 OpenAI Embeddings 来增强 Redis 的功能。

# 主要内容

## 创建 Redis 向量存储

要开始使用 Redis 向量存储,我们需要准备一组文档数据。在这个例子中,文档是一些电影简介。

> 注意:自查询检索器需要安装 `lark`,请使用以下命令安装:
>
> ```bash
> pip install lark
> ```

接下来,我们使用 OpenAI 的嵌入服务,因此需要获取 OpenAI API 密钥。

```python
import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")  # 输入 OpenAI API 密钥

我们将使用 redislangchain-openai 库来创建向量存储。

from langchain_community.vectorstores import Redis
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()

定义文档和索引模式:

docs = [
    Document(page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose", metadata={"year": 1993, "rating": 7.7, "director": "Steven Spielberg", "genre": "science fiction"}),
    # 更多文档...
]

index_schema = {
    "tag": [{"name": "genre"}],
    "text": [{"name": "director"}],
    "numeric": [{"name": "year"}, {"name": "rating"}],
}

vectorstore = Redis.from_documents(
    docs,
    embeddings,
    redis_url="redis://localhost:6379",  # 使用API代理服务提高访问稳定性
    index_name="movie_reviews",
    index_schema=index_schema,
)

创建自查询检索器

一旦向量存储创建完毕,我们可以实例化一个自查询检索器:

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string or list[string]"),
    # 更多属性信息...
]

document_content_description = "Brief summary of a movie"

llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

代码示例

我们可以使用检索器来进行查询:

# 查询恐龙相关的电影
retriever.invoke("What are some movies about dinosaurs")

# 查询评价高于 8.4 分的电影
retriever.invoke("I want to watch a movie rated higher than 8.4")

常见问题和解决方案

  1. API访问问题:由于某些地区的网络限制,访问OpenAI API可能出现问题。解决办法是使用API代理服务。
  2. 索引模式不匹配:可能会看到索引模式与生成的模式不匹配的警告。这通常是由于文档中的元数据定义不一致。请确保索引模式正确配置。

总结和进一步学习资源

通过这篇文章,您学习了如何使用 Redis 作为向量存储,并利用自查询检索器进行复杂的查询。要深入学习,可以参考以下资源:

参考资料

  • Redis 文档
  • OpenAI 文档
  • LangChain 文档

如果这篇文章对你有帮助,欢迎点赞并关注我的博客。您的支持是我持续创作的动力!

---END---