探索Astra DB中的向量存储与自查询检索器：实现智能电影推荐

用户331287887593
68 阅读3分钟

引言

在AI领域中，向量存储的应用越来越广泛，特别是在需要处理大量文本数据时。DataStax Astra DB是一个强大的无服务向量数据库，基于Cassandra构建，为开发者提供了便捷的JSON API接口。在本文中，我们将深入探讨如何利用Astra DB来创建向量存储，并通过自查询检索器(SelfQueryRetriever)实现智能电影推荐。

主要内容

创建Astra DB向量存储

首先，我们需要创建一个Astra DB向量存储并将数据存入其中。在我们的示例中，我们准备了一组包含电影简介的小型数据集。请确保已安装所需的Python库：

%pip install --upgrade --quiet lark astrapy langchain-openai

我们将使用OpenAI的嵌入，因此需要获取OpenAI的API密钥。

import os
from getpass import getpass
from langchain_openai.embeddings import OpenAIEmbeddings

os.environ["OPENAI_API_KEY"] = getpass("OpenAI API Key:")

embeddings = OpenAIEmbeddings()

定义Astra DB的API端点和应用程序令牌：

ASTRA_DB_API_ENDPOINT = input("ASTRA_DB_API_ENDPOINT = ") # 使用API代理服务提高访问稳定性
ASTRA_DB_APPLICATION_TOKEN = getpass("ASTRA_DB_APPLICATION_TOKEN = ")

from langchain_community.vectorstores import AstraDB
from langchain_core.documents import Document

docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
    ),
    # 其它电影数据...
]

vectorstore = AstraDB.from_documents(
    docs,
    embeddings,
    collection_name="astra_self_query_demo",
    api_endpoint=ASTRA_DB_API_ENDPOINT,
    token=ASTRA_DB_APPLICATION_TOKEN,
)

创建自查询检索器

在创建检索器之前，我们需要定义文档的元数据信息和文档内容的简要描述。

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string or list[string]"),
    AttributeInfo(name="year", description="The year the movie was released", type="integer"),
    AttributeInfo(name="director", description="The name of the movie director", type="string"),
    AttributeInfo(name="rating", description="A 1-10 rating for the movie", type="float"),
]

document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)

retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

测试自查询检索器

下面是一些使用检索器进行查询的示例：

# 寻找关于恐龙的电影
retriever.invoke("What are some movies about dinosaurs?")

# 过滤评分高于8.5的电影
retriever.invoke("I want to watch a movie rated higher than 8.5")

# 查看Greta Gerwig导演的电影
retriever.invoke("Has Greta Gerwig directed any movies about women")

# 查找高评分（超过8.5）的科幻电影
retriever.invoke("What's a highly rated (above 8.5), science fiction movie ?")

# 查找1990后2005前的关于玩具的动画电影
retriever.invoke("What's a movie about toys after 1990 but before 2005, and is animated")

清理数据

若需清除Astra DB实例中的数据集合，请使用以下命令：

vectorstore.delete_collection()

常见问题和解决方案

  1. 网络访问问题：由于某些地区的网络限制，访问API端点可能会不稳定。建议使用API代理服务以提高访问的稳定性。
  2. 库依赖问题：确保已正确安装所有必要的Python库。如果遇到版本兼容性问题，尝试更新pip或使用虚拟环境。

总结和进一步学习资源

Astra DB在处理大规模文本数据时提供了高效的解决方案，通过结合OpenAI的嵌入和自查询检索器，我们可以实现智能的推荐系统。建议读者进一步了解Astra DB和OpenAI API，以便在更多的实际应用中熟练使用这些工具。

参考资料

  1. DataStax Astra DB Documentation
  2. OpenAI API Documentation
  3. Langchain Documentation

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！ ---END---

avatar
文章
阅读
粉丝