**利用DashVector构建智能自查询向量检索器**

用户331287887593
80 阅读3分钟

引言

在当今数据驱动的世界中，处理和检索高维数据成为许多应用的基础。例如，大模型生态、多模态AI搜索、分子结构分析等都需要高效的向量检索能力。为了解决这一问题，DashVector提供了一种云原生、全托管的向量检索服务，基于DAMO Academy自主研发的Proxima核心。本文将带您探索如何使用DashVector创建一个智能的自查询向量检索器。

主要内容

DashVector简介

DashVector是一个全托管的向量数据库服务，支持高维密集和稀疏向量、实时插入和过滤搜索。它具备自动扩展能力，能够适应不同的应用需求。DashVector通过易于使用的SDK/API接口，向上层AI应用程序提供强大的向量管理和查询功能。

创建DashVector向量存储

首先，我们需要在DashVector中创建一个向量存储，并用一些数据进行初始化。在本示例中，我们将使用电影摘要的数据集合。

要使用DashVector，您需要安装dashvector包，并准备好API密钥和环境配置。您还需要安装lark包来支持自查询检索功能。

%pip install --upgrade --quiet lark dashvector

import os
import dashvector

client = dashvector.Client(api_key=os.environ["DASHVECTOR_API_KEY"])  # 使用API代理服务提高访问稳定性

from langchain_community.embeddings import DashScopeEmbeddings
from langchain_community.vectorstores import DashVector
from langchain_core.documents import Document

embeddings = DashScopeEmbeddings()

# 创建DashVector集合
client.create("langchain-self-retriever-demo", dimension=1536)

docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": "action"},
    ),
    # 其他文档示例省略
]
vectorstore = DashVector.from_documents(
    docs, embeddings, collection_name="langchain-self-retriever-demo"
)

创建自查询检索器

接下来，我们将初始化我们的自查询检索器。我们需要预先提供有关文档的元数据字段的信息以及文档内容的简短描述。

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_community.llms import Tongyi

metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string or list[string]"),
    AttributeInfo(name="year", description="The year the movie was released", type="integer"),
    AttributeInfo(name="director", description="The name of the movie director", type="string"),
    AttributeInfo(name="rating", description="A 1-10 rating for the movie", type="float"),
]

document_content_description = "Brief summary of a movie"
llm = Tongyi(temperature=0)
retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

测试检索功能

现在，我们可以尝试使用我们的检索器进行查询和过滤。

# 仅指定相关查询
retriever.invoke("What are some movies about dinosaurs")

# 仅指定过滤条件
retriever.invoke("I want to watch a movie rated higher than 8.5")

# 指定查询和过滤条件
retriever.invoke("Has Greta Gerwig directed any movies about women")

# 指定复合过滤条件
retriever.invoke("What's a highly rated (above 8.5) science fiction film?")

常见问题和解决方案

  • API访问问题：在某些地区，由于网络限制，API访问可能不稳定。考虑使用API代理服务来提高访问的稳定性。
  • 维度匹配错误：确保向量的维度与DashVector期待的一致，否则将会引发错误。
  • 文档不匹配：确保您在检索器中正确设置了文档的元数据和内容描述。

总结和进一步学习资源

DashVector为多样化的AI应用场景提供了强大的向量检索能力。通过结合自查询检索器，用户可以灵活高效地查询复杂的数据集。想要进一步了解DashVector，可以查阅其官方文档。此外，了解更多关于向量数据库的内容，可以参考《Interpretable Machine Learning》和《Deep Learning》。

参考资料

  1. DashVector Documentation
  2. Langchain Documentation

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝