探索Milvus：如何用自查询检索器管理向量存储

引言

在现代机器学习应用中，如何有效管理海量嵌入向量是一个重要课题。Milvus作为一种开源的向量数据库，可以帮助我们存储、索引并管理这些由深度神经网络等生成的嵌入向量。本文将演示如何使用Milvus与自查询检索器（SelfQueryRetriever）来创建和查询向量存储。

主要内容

创建Milvus向量存储

要开始使用Milvus，我们首先需要创建一个向量存储并向其中添加数据。在本例中，我们使用的是电影概要的一个小型数据集。为了方便起见，我们将使用Milvus的云版本，因此需要提供uri和token。

此外，自查询检索器依赖于lark和langchain_milvus包，所以需要先安装它们：

%pip install --upgrade --quiet lark langchain_milvus

嵌入生成

我们将使用OpenAI的嵌入生成器，因此需要获取OpenAI的API Key。

import os

OPENAI_API_KEY = "Use your OpenAI key:)"
os.environ["OPENAI_API_KEY"] = OPENAI_API_KEY

from langchain_core.documents import Document
from langchain_milvus.vectorstores import Milvus
from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()

接下来，创建向量存储并添加文档：

docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": "action"},
    ),
    # 其他文档与此类似
]

vector_store = Milvus.from_documents(
    docs,
    embedding=embeddings,
    connection_args={"uri": "Use your uri:)", "token": "Use your token:)"}, # 使用API代理服务提高访问稳定性
)

创建自查询检索器

有了向量存储之后，我们可以实例化一个自查询检索器，提供一些关于文档的元数据信息：

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(
        name="genre",
        description="The genre of the movie",
        type="string",
    ),
    # 其他元数据字段
]
document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
    llm, vector_store, document_content_description, metadata_field_info, verbose=True
)

代码示例

以下是如何使用检索器的示例：

# 进行简单查询
retriever.invoke("What are some movies about dinosaurs")

# 使用过滤条件
retriever.invoke("What are some highly rated movies (above 9)?")

# 复杂查询示例
retriever.invoke(
    "What's a movie after 1990 but before 2005 that's all about dinosaurs, \
    and preferably has a lot of action"
)

常见问题和解决方案

访问问题

在某些地区，连接Milvus云可能会受到网络限制。使用API代理服务可以提高访问稳定性。

查询性能

对于大规模数据库，查询时间可能较长。考虑优化查询字段和使用索引。

总结和进一步学习资源

Milvus结合自查询检索器是一种强大的解决方案，用于管理和查询嵌入向量。通过以上示例，你可以更好地掌握其基本使用方法。

进一步学习资源：

1. Milvus官方文档
2. Langchain项目

参考资料

• Milvus GitHub Repository
• Langchain Documentation

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---