引言
在构建智能AI应用时，向量数据库成为处理嵌入数据的重要工具。本文将介绍如何使用Chroma向量数据库创建一个支持自查询的检索器，这在处理嵌入式AI应用时尤为有用。我们将演示如何初始化Chroma库，管理电影数据，并创建一个能够根据电影特性进行智能检索的系统。
主要内容
1. 安装必要的库
为了开始使用Chroma，我们首先需要安装一些必要的Python包：
%pip install --upgrade --quiet lark
%pip install --upgrade --quiet langchain-chroma
确保在安装之前，环境中已经有Python的基础包管理工具pip。
2. 设置Chroma向量存储
我们将使用OpenAI的API来处理文本嵌入，因此需要获取相应的API密钥。为了演示，假设我们已经有一个包含电影摘要的文档集合。
import getpass
import os
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:") # 获取OpenAI API密钥
from langchain_chroma import Chroma
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
embeddings = OpenAIEmbeddings()
docs = [
Document(
page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
),
# 其他电影文档省略...
]
vectorstore = Chroma.from_documents(docs, embeddings) # 使用API代理服务提高访问稳定性
3. 创建自查询检索器
接下来，我们创建一个自查询检索器来分析和获取相关的电影信息。
from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI
metadata_field_info = [
AttributeInfo(name="genre", description="The genre of the movie", type="string or list[string]"),
AttributeInfo(name="year", description="The year the movie was released", type="integer"),
AttributeInfo(name="director", description="The name of the movie director", type="string"),
AttributeInfo(name="rating", description="A 1-10 rating for the movie", type="float"),
]
document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)
代码示例
以下是一些使用检索器的例子：
# 查询恐龙相关的电影
retriever.invoke("What are some movies about dinosaurs")
# 查询评分高于8.5的电影
retriever.invoke("I want to watch a movie rated higher than 8.5")
# 查询Greta Gerwig导演的关于女性的电影
retriever.invoke("Has Greta Gerwig directed any movies about women")
# 查询评分高于8.5的科幻电影
retriever.invoke("What's a highly rated (above 8.5) science fiction film?")
常见问题和解决方案
- 访问API遇到问题： 在一些地区，可能需要使用API代理服务以提高访问稳定性。
- 数据持久化问题： Chroma目前默认使用嵌入式DuckDB，数据是瞬态的；如果需要持久化，请考虑使用其他存储解决方案。
总结和进一步学习资源
这篇文章介绍了如何使用Chroma和Langchain库创建一个自查询检索系统，可以有效地管理和查询嵌入数据。建议读者查阅以下资源来深入了解：
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
