使用Redis和OpenAI构建智能电影检索系统
在本文中，我们将探讨如何利用Redis作为向量存储，实现一个基于自然语言处理的电影检索系统。Redis不仅是一个强大的键值数据库，还可以用作向量数据库并与OpenAI的嵌入技术结合，创造出智能的查询功能。
引言
Redis是一种开源的键值存储，常用于缓存、消息代理和数据库。在现代应用中，它还可以作为向量数据库，为复杂的数据检索提供高效的解决方案。本篇文章将逐步带你实现一个使用Redis和OpenAI技术的电影检索系统。
创建Redis向量存储
首先，我们需要创建一个Redis向量存储并为其添加数据。我们使用的示例数据是一些电影的简单摘要。
注意：要实现自查询检索器，需安装lark：
%pip install --upgrade --quiet redis redisvl langchain-openai tiktoken lark
获取OpenAI API密钥
import getpass
import os
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")
设置嵌入和存储
from langchain_community.vectorstores import Redis
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
embeddings = OpenAIEmbeddings()
docs = [
Document(
page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
metadata={
"year": 1993,
"rating": 7.7,
"director": "Steven Spielberg",
"genre": "science fiction",
},
),
# 其他文档
]
index_schema = {
"tag": [{"name": "genre"}],
"text": [{"name": "director"}],
"numeric": [{"name": "year"}, {"name": "rating"}],
}
vectorstore = Redis.from_documents(
docs,
embeddings,
redis_url="redis://localhost:6379", # 使用API代理服务提高访问稳定性
index_name="movie_reviews",
index_schema=index_schema,
)
创建自查询检索器
我们将使用自查询检索器来智能化地处理查询。首先需要定义文档的元数据信息。
from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI
metadata_field_info = [
AttributeInfo(name="genre", description="The genre of the movie", type="string or list[string]"),
# 其他元数据信息
]
document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)
代码示例
以下是使用自查询检索器的示例：
# 查询恐龙相关的电影
retriever.invoke("What are some movies about dinosaurs")
# 过滤出评分大于8.4的电影
retriever.invoke("I want to watch a movie rated higher than 8.4")
# 查询由Greta Gerwig导演的女性相关电影
retriever.invoke("Has Greta Gerwig directed any movies about women")
# 查询高评分的科幻电影
retriever.invoke("What's a highly rated (above 8.5) science fiction film?")
常见问题和解决方案
1. 网络访问问题
由于某些地区的网络限制，开发者可能需要使用API代理服务以提高访问稳定性。
2. 元数据不匹配
若收到元数据不匹配警告，可根据需要调整index_schema或忽略提示。
总结和进一步学习资源
本文介绍了如何使用Redis和OpenAI实现智能电影检索系统。建议进一步探索Redis和向量数据库的其他应用场景。
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
