探索MongoDB Atlas: 使用VectorStore和SelfQueryRetriever进行智能查询

92 阅读3分钟
# 探索MongoDB Atlas: 使用VectorStore和SelfQueryRetriever进行智能查询

## 引言
MongoDB Atlas是一种强大的文档数据库平台,提供了高级的数据存储和检索功能。其中,VectorStore和SelfQueryRetriever的结合,让我们能够高效地处理和查询矢量数据。在这篇文章中,我们将一步步演示如何创建和使用MongoDB Atlas的VectorStore来实现自助查询功能。

## 主要内容

### 创建MongoDB Atlas VectorStore
首先,我们需要创建一个MongoDB Atlas VectorStore,并将其填充一些测试数据。为了演示,我们准备了一小组电影摘要文档。

在这之前,请确保安装了必要的包:

```bash
%pip install --upgrade --quiet lark pymongo

同时,我们将使用OpenAIEmbeddings,这需要先获得OpenAI的API Key。可以通过设置环境变量的方式提供这个Key:

import os

OPENAI_API_KEY = "Use your OpenAI key"
os.environ["OPENAI_API_KEY"] = OPENAI_API_KEY

接下来,通过以下代码创建向量存储:

from langchain_community.vectorstores import MongoDBAtlasVectorSearch
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
from pymongo import MongoClient

# 使用API代理服务提高访问稳定性
CONNECTION_STRING = "Use your MongoDB Atlas connection string"
DB_NAME = "Name of your MongoDB Atlas database"
COLLECTION_NAME = "Name of your collection in the database"
INDEX_NAME = "Name of a search index defined on the collection"

MongoClient = MongoClient(CONNECTION_STRING)
collection = MongoClient[DB_NAME][COLLECTION_NAME]

embeddings = OpenAIEmbeddings()

docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": "action"},
    ),
    # 更多文档...
]

vectorstore = MongoDBAtlasVectorSearch.from_documents(
    docs,
    embeddings,
    collection=collection,
    index_name=INDEX_NAME,
)

创建矢量搜索索引

接下来,我们需要在你的集群上创建一个矢量搜索索引。以下是如何在MongoDB Atlas上定义索引的JSON格式:

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "embedding": {
        "dimensions": 1536,
        "similarity": "cosine",
        "type": "knnVector"
      },
      "genre": {
        "type": "token"
      },
      "ratings": {
        "type": "number"
      },
      "year": {
        "type": "number"
      }
    }
  }
}

创建自助查询检索器

我们还需要初始化一个自助查询检索器,以便能够根据文档元数据进行筛选:

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    # 定义元数据字段的信息
    AttributeInfo(name="genre", description="The genre of the movie", type="string"),
    AttributeInfo(name="year", description="The year the movie was released", type="integer"),
    AttributeInfo(name="rating", description="A 1-10 rating for the movie", type="float")
]

document_content_description = "Brief summary of a movie"

llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

代码示例:使用检索器

现在我们可以使用该检索器进行智能查询:

# 指定相关查询
retriever.invoke("What are some movies about dinosaurs")

# 指定筛选条件
retriever.invoke("What are some highly rated movies (above 9)?")

# 组合条件查询
retriever.invoke("I want to watch a movie about toys rated higher than 9")

# 复杂筛选
retriever.invoke("What's a highly rated (above or equal 9) thriller film?")

常见问题和解决方案

  • 网络连接问题:在某些地区,访问MongoDB Atlas可能会受到网络限制。在这种情况下,考虑使用API代理服务以提高访问的稳定性。
  • API密钥管理:确保OpenAI的API密钥安全存储,不要在公共代码库中暴露。

总结和进一步学习资源

MongoDB Atlas不仅是一个强大的文档数据库,也为处理AI驱动的应用程序提供了基础设施。在以上示例中,我们展示了如何结合VectorStore和SelfQueryRetriever启用智能查询功能。进一步探索MongoDB Atlas的文档和LangChain框架的使用可以帮助你更好地掌握这些工具。

参考资料

如果这篇文章对你有帮助,欢迎点赞并关注我的博客。您的支持是我持续创作的动力!

---END---