# 引言
Redis 不仅仅是一个强大的开源键值存储,它还可以充当缓存、消息代理、数据库以及向量数据库。本篇文章将引导您通过实际示例,使用 Redis 作为向量存储,并利用 SelfQueryRetriever 进行自查询检索。您还将学习如何配置和使用 OpenAI Embeddings 来增强 Redis 的功能。
# 主要内容
## 创建 Redis 向量存储
要开始使用 Redis 向量存储,我们需要准备一组文档数据。在这个例子中,文档是一些电影简介。
> 注意:自查询检索器需要安装 `lark`,请使用以下命令安装:
>
> ```bash
> pip install lark
> ```
接下来,我们使用 OpenAI 的嵌入服务,因此需要获取 OpenAI API 密钥。
```python
import getpass
import os
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:") # 输入 OpenAI API 密钥
我们将使用 redis
和 langchain-openai
库来创建向量存储。
from langchain_community.vectorstores import Redis
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
embeddings = OpenAIEmbeddings()
定义文档和索引模式:
docs = [
Document(page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose", metadata={"year": 1993, "rating": 7.7, "director": "Steven Spielberg", "genre": "science fiction"}),
# 更多文档...
]
index_schema = {
"tag": [{"name": "genre"}],
"text": [{"name": "director"}],
"numeric": [{"name": "year"}, {"name": "rating"}],
}
vectorstore = Redis.from_documents(
docs,
embeddings,
redis_url="redis://localhost:6379", # 使用API代理服务提高访问稳定性
index_name="movie_reviews",
index_schema=index_schema,
)
创建自查询检索器
一旦向量存储创建完毕,我们可以实例化一个自查询检索器:
from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI
metadata_field_info = [
AttributeInfo(name="genre", description="The genre of the movie", type="string or list[string]"),
# 更多属性信息...
]
document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)
代码示例
我们可以使用检索器来进行查询:
# 查询恐龙相关的电影
retriever.invoke("What are some movies about dinosaurs")
# 查询评价高于 8.4 分的电影
retriever.invoke("I want to watch a movie rated higher than 8.4")
常见问题和解决方案
- API访问问题:由于某些地区的网络限制,访问OpenAI API可能出现问题。解决办法是使用API代理服务。
- 索引模式不匹配:可能会看到索引模式与生成的模式不匹配的警告。这通常是由于文档中的元数据定义不一致。请确保索引模式正确配置。
总结和进一步学习资源
通过这篇文章,您学习了如何使用 Redis 作为向量存储,并利用自查询检索器进行复杂的查询。要深入学习,可以参考以下资源:
参考资料
- Redis 文档
- OpenAI 文档
- LangChain 文档
如果这篇文章对你有帮助,欢迎点赞并关注我的博客。您的支持是我持续创作的动力!
---END---