使用MongoDB Atlas打造强大的向量数据库实现智能内容检索

用户955766060958
222 阅读3分钟

引言

在当今的数据驱动世界中，使用向量数据库来存储和检索高维数据是非常重要的应用之一。MongoDB Atlas作为一个文档数据库平台，可通过其Atlas VectorSearch功能实现此类应用。在本篇文章中，我们将展示如何使用MongoDB Atlas作为向量数据库，并结合OpenAI的嵌入式技术，实现智能的内容检索。

主要内容

1. 创建MongoDB Atlas向量存储

首先，我们需要在MongoDB Atlas中创建一个向量存储并填充一些数据。为了实现此目的，我们将使用一些电影摘要作为示例数据。

确保你的开发环境中安装了lark和pymongo库：

%pip install --upgrade --quiet lark pymongo

同时，我们将使用OpenAI的嵌入服务，因此需要获取OpenAI的API密钥：

import os

OPENAI_API_KEY = "Use your OpenAI key"
os.environ["OPENAI_API_KEY"] = OPENAI_API_KEY

接下来，配置MongoDB Atlas的连接：

from pymongo import MongoClient

CONNECTION_STRING = "Use your MongoDB Atlas connection string"
DB_NAME = "Name of your MongoDB Atlas database"
COLLECTION_NAME = "Name of your collection in the database"
INDEX_NAME = "Name of a search index defined on the collection"

client = MongoClient(CONNECTION_STRING)  # 使用API代理服务提高访问稳定性
collection = client[DB_NAME][COLLECTION_NAME]

2. 准备数据和嵌入模型

我们将使用一些电影摘要的文本数据，并创建其嵌入表示：

from langchain_community.vectorstores import MongoDBAtlasVectorSearch
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()
docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": "action"},
    ),
    # 其他示例文档
]

vectorstore = MongoDBAtlasVectorSearch.from_documents(
    docs,
    embeddings,
    collection=collection,
    index_name=INDEX_NAME,
)

3. 创建搜索索引

在MongoDB Atlas中创建一个向量搜索索引：

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "embedding": {
        "dimensions": 1536,
        "similarity": "cosine",
        "type": "knnVector"
      },
      "genre": {
        "type": "token"
      },
      "ratings": {
        "type": "number"
      },
      "year": {
        "type": "number"
      }
    }
  }
}

4. 实现Self-Query Retriever

我们使用SelfQueryRetriever实现智能的查询检索：

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string"),
    AttributeInfo(name="year", description="The year the movie was released", type="integer"),
    AttributeInfo(name="rating", description="A 1-10 rating for the movie", type="float"),
]

document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)

retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

代码示例

在实现了以上配置后，我们可以进行实际的检索操作：

# 查询恐龙电影
retriever.invoke("What are some movies about dinosaurs")

# 查询评分高于9的电影
retriever.invoke("What are some highly rated movies (above 9)?")

常见问题和解决方案

  • 网络访问问题：由于某些地区的网络限制，可能需要使用API代理服务来提高访问的稳定性。
  • 索引创建问题：确保索引的配置正确，并仔细参考MongoDB Atlas的官方文档以解决索引创建问题。

总结和进一步学习资源

通过这篇文章，我们展示了如何在MongoDB Atlas中实现一个基本的向量数据库，以及如何使用它来进行智能的内容检索。进一步了解相关技术，请参考以下资源：

参考资料

  1. MongoDB Atlas Developer Hub
  2. OpenAI官方文档和API指南
  3. LangChain项目文档

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝