[利用Chroma和自查询检索器构建高效的AI应用程序]

用户38023559900
82 阅读3分钟 
# 利用Chroma和自查询检索器构建高效的AI应用程序

## 引言
在人工智能应用程序的开发中，高效的数据检索和管理至关重要。Chroma作为一种向量数据库，能够通过嵌入技术来增强数据索引和检索的效率。本文将详细介绍如何使用Chroma创建一个向量存储，并结合自查询检索器来实现复杂的查询需求。

## 主要内容

### 1. 创建Chroma向量存储
要开始，我们需要创建一个Chroma向量存储，并为其提供一些数据。假设我们有一组电影的摘要文档，本文将展示如何利用这些文档进行存储和检索。

首先，确保安装必要的Python包：
```shell
%pip install --upgrade --quiet lark langchain-chroma

接着，我们需要获取OpenAI的API密钥（请替换为你自己的密钥）：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

然后，我们可以通过以下代码创建一个Chroma向量存储：

from langchain_chroma import Chroma
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings

# 使用API代理服务提高访问稳定性
embeddings = OpenAIEmbeddings()

docs = [
    Document(page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose", metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"}),
    Document(page_content="Leo DiCaprio gets lost in a dream within a dream within a dream within a ...", metadata={"year": 2010, "director": "Christopher Nolan", "rating": 8.2}),
    # 更多文档...
]

vectorstore = Chroma.from_documents(docs, embeddings)

2. 创建自查询检索器

有了向量存储后，我们可以实例化一个自查询检索器来支持复杂的查询功能。需要注意的是，在设置检索器时，我们需要为文档的元数据字段提供信息。

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string or list[string]"),
    AttributeInfo(name="year", description="The year the movie was released", type="integer"),
    # 更多字段...
]

llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(llm, vectorstore, "Brief summary of a movie", metadata_field_info, verbose=True)

代码示例

以下是如何使用创建的自查询检索器执行查询的示例：

# 查询恐龙电影
results = retriever.invoke("What are some movies about dinosaurs")
for doc in results:
    print(doc.page_content, doc.metadata)

# 查询评分高于8.5的电影
results = retriever.invoke("I want to watch a movie rated higher than 8.5")
for doc in results:
    print(doc.page_content, doc.metadata)

# 查询Greta Gerwig导演的关于女性的电影
results = retriever.invoke("Has Greta Gerwig directed any movies about women")
for doc in results:
    print(doc.page_content, doc.metadata)

常见问题和解决方案

  1. API访问问题：由于某些地区的网络限制，建议使用API代理服务以提高访问稳定性。
  2. 高资源消耗：处理大量数据时可能造成资源消耗过高，可考虑数据分片及优化查询策略。

总结和进一步学习资源

通过结合Chroma向量存储和自查询检索器，开发者可以构建强大的AI驱动检索系统，支持复杂查询和数据管理。有关更多信息，可以参考以下资源：

  1. Langchain Documentation
  2. OpenAI Embeddings API

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---
avatar
文章
阅读
粉丝