使用PGVector和OpenAI实现电影推荐系统2. 配置OpenAI Embeddings 获取OpenAI API

## 引言

在现代数据驱动应用中，向量相似度搜索是一项重要技术。PGVector是一个为Postgres数据库设计的向量相似搜索包，能够与其他工具结合，形成强大的数据处理工作流。本文将演示如何使用PGVector和OpenAI Embeddings来创建一个简单的电影推荐系统。

## 主要内容

### 1. 创建PGVector向量存储

首先，我们需要创建PGVector向量存储并初始化数据。在这里，我们使用了一个包含电影摘要的小型数据集。

要使用自查询检索器（SelfQueryRetriever），需要安装`lark`包：
```bash
%pip install --upgrade --quiet lark pgvector psycopg2-binary

2. 配置OpenAI Embeddings

获取OpenAI API密钥并设为环境变量：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

3. 初始化PGVector

我们现在可以使用PGVector和OpenAI Embeddings初始化向量存储：

from langchain_community.vectorstores import PGVector
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings

collection = "Name of your collection"
embeddings = OpenAIEmbeddings()
docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
    ),
    # ... 其他文档 ...
]
vectorstore = PGVector.from_documents(
    docs,
    embeddings,
    collection_name=collection,
)

4. 创建自查询检索器

定义文档的元数据字段信息，并创建检索器：

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(
        name="genre",
        description="The genre of the movie",
        type="string or list[string]",
    ),
    # ... 其他属性信息 ...
]
document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

代码示例

下面是一些使用检索器的示例：

# 查询包含恐龙的电影
retriever.invoke("What are some movies about dinosaurs")

# 查询评分大于8.5的电影
retriever.invoke("I want to watch a movie rated higher than 8.5")

# 查看Greta Gerwig是否导演过关于女性的电影
retriever.invoke("Has Greta Gerwig directed any movies about women")

# 查询高评分（大于8.5）的科幻电影
retriever.invoke("What's a highly rated (above 8.5) science fiction film?")

常见问题和解决方案

API访问问题： 由于某些地区的网络限制，推荐使用API代理服务。例如，将api.openai.com替换为http://api.wlai.v…
数据量过大： 可以通过设置enable_limit=True来限制返回的文档数量，从而提高性能。

总结和进一步学习资源

通过本文的演示，您可以使用PGVector和OpenAI Embeddings构建一个简单的电影推荐系统。为深入了解，可以参考以下资源：

参考资料

PGVector GitHub: github.com/pgvector/pg…
OpenAI API: beta.openai.com/docs/

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！


---END---