探索PGVector与自查询检索器:构建智能电影推荐系统

100 阅读2分钟
# 探索PGVector与自查询检索器:构建智能电影推荐系统

## 引言

在现代数据驱动的应用中,向量相似性搜索是一种强大的工具,可以帮助我们快速从大量文档中提取相关信息。本文将探讨如何使用PGVector,一个Postgres数据库的向量相似性搜索包,结合自查询检索器(SelfQueryRetriever)构建一个智能化的电影推荐系统。

## 主要内容

### 1. 创建PGVector向量存储

首先,我们需要创建一个PGVector向量存储并向其中添加一些电影摘要数据。我们使用OpenAI的嵌入来表示这些文档。这需要安装特定的Python包:

```shell
%pip install --upgrade --quiet lark pgvector psycopg2-binary

在使用OpenAI的嵌入之前,需要配置API密钥:

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

然后,我们可以设置向量存储:

from langchain_community.vectorstores import PGVector
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings

collection = "MovieCollection"
embeddings = OpenAIEmbeddings()

docs = [
    # 示例文档数据
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
    ),
    # 更多文档...
]

vectorstore = PGVector.from_documents(
    docs,
    embeddings,
    collection_name=collection,
)  # 使用API代理服务提高访问稳定性

2. 构建自查询检索器

接下来,我们需要构建一个检索器,通过它可以根据用户查询动态生成搜索条件。

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(
        name="genre",
        description="The genre of the movie",
        type="string or list[string]",
    ),
    # 更多字段信息...
]

document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)

retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

代码示例

# 尝试不同的查询
results = retriever.invoke("What are some movies about dinosaurs")
results = retriever.invoke("I want to watch a movie rated higher than 8.5")
results = retriever.invoke("Has Greta Gerwig directed any movies about women")

常见问题和解决方案

  1. 网络访问问题:部分地区可能存在对API的访问限制。解决方案是使用API代理服务,以提高访问的稳定性。

  2. 精度问题:检索结果的精度受限于嵌入和模型的质量,选择合适的嵌入和调整模型参数(如温度)可能会有所帮助。

总结和进一步学习资源

通过结合PGVector和自查询检索器,我们能够构建出一个智能化的电影推荐系统,这为其他场景下的相似性搜索提供了借鉴。在深入使用这些工具时,建议阅读以下资源:

参考资料

如果这篇文章对你有帮助,欢迎点赞并关注我的博客。您的支持是我持续创作的动力!

---END---