引领未来搜索：探索 Milvus 自查询检索器与向量数据库的应用

用户850429986511
106 阅读3分钟

引言

在如今大数据和人工智能主导的时代，如何高效地查询和管理大量的嵌入向量成为了AI应用成功的关键因素。Milvus，这一专为大规模向量化数据存储而设计的数据库，正在变得越来越流行。本篇文章将引导你如何利用 Milvus 向量数据库结合 SelfQueryRetriever 实现自查询功能，助力于在大规模数据集中快速检索匹配内容。

创建 Milvus 向量存储

首先，我们需要创建一个 Milvus 向量存储，并以一些数据进行初始化。本文使用的是 Milvus 的云版本，因此需要使用 uri 和 token 进行验证。为了正常运行自查询检索器，我们还需要安装 lark 以及 langchain_milvus 包。

%pip install --upgrade --quiet lark langchain_milvus

接下来，我们将使用 OpenAI 提供的嵌入服务为我们的文档生成向量表示。

import os
from langchain_core.documents import Document
from langchain_milvus.vectorstores import Milvus
from langchain_openai import OpenAIEmbeddings

# 设置 OpenAI API 密钥
OPENAI_API_KEY = "使用你的 OpenAI 密钥:)"
os.environ["OPENAI_API_KEY"] = OPENAI_API_KEY

# 初始化 OpenAI 的嵌入
embeddings = OpenAIEmbeddings()

# 示例文档
docs = [
    Document(page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
             metadata={"year": 1993, "rating": 7.7, "genre": "action"}),
    Document(page_content="Leo DiCaprio gets lost in a dream within a dream within a dream within a ...",
             metadata={"year": 2010, "genre": "thriller", "rating": 8.2}),
    # 更多文档...
]

# 创建 Milvus 向量存储
vector_store = Milvus.from_documents(
    docs,
    embedding=embeddings,
    connection_args={"uri": "使用你的 uri:)", "token": "使用你的 token:)"} # 使用API代理服务提高访问稳定性
)

创建自查询检索器

有了向量存储后，我们可以创建自查询检索器。为此，我们需要提供我们文档所支持的元数据字段信息以及文档内容的简要描述。

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string"),
    AttributeInfo(name="year", description="The year the movie was released", type="integer"),
    AttributeInfo(name="rating", description="A 1-10 rating for the movie", type="float"),
]

document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)

retriever = SelfQueryRetriever.from_llm(
    llm, vector_store, document_content_description, metadata_field_info, verbose=True
)

代码示例

下面是一些如何使用自查询检索器的示例代码，以检索不同条件下的电影：

# 检索关于恐龙的电影
retriever.invoke("What are some movies about dinosaurs")

# 高评分电影检索
retriever.invoke("What are some highly rated movies (above 9)?")

# 使用复杂过滤器检索
retriever.invoke("What's a highly rated (above or equal 9) thriller film?")

常见问题和解决方案

  • 网络访问问题：由于某些地区的网络限制，建议使用API代理服务以确保访问的稳定性。
  • 数据规模增长带来的性能问题：可以提升 Milvus 集群规模或者优化查询索引策略来改善性能。
  • API 使用限制：请确保 API 使用符合使用条款，避免超出调用限制。

总结和进一步学习资源

Milvus 结合 SelfQueryRetriever 提供了一种高效、灵活的查询大规模嵌入向量数据的方式。在实际应用中，这样的组合可以显著提高数据检索的准确性和速度。想要深入了解更多，可以参考以下资源：

参考资料

  • Milvus Documentation
  • OpenAI API Guidelines
  • LangChain Documentation

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！ ---END---

avatar
文章
阅读
粉丝