[深入探索Google Memorystore for Redis:构建高效的应用缓存]

47 阅读2分钟

引言

Google Memorystore for Redis 是一种完全托管的服务,利用 Redis 内存数据存储来构建应用缓存,从而提供亚毫秒级的数据访问。这篇文章将带你了解如何利用 Memorystore for Redis 存储向量嵌入,并结合 LangChain 集成构建 AI 驱动的应用体验。

主要内容

1. 准备工作

创建 Google Cloud 项目

  • 启用 Memorystore for Redis API
  • 创建 Redis 实例,确保版本大于或等于 7.2

2. 安装库

首先安装 langchain-google-memorystore-redis 包:

%pip install --upgrade --quiet langchain-google-memorystore-redis langchain

如在 Google Colab 中运行,可重启内核以加载新包。

3. 设置 Google Cloud 项目

使用以下命令设置项目 ID:

PROJECT_ID = "my-project-id"  # @param {type:"string"}
!gcloud config set project {PROJECT_ID}

4. 认证

在 Google Colab 中使用以下代码进行身份验证:

from google.colab import auth
auth.authenticate_user()

代码示例

初始化向量索引

import redis
from langchain_google_memorystore_redis import (
    DistanceStrategy,
    HNSWConfig,
    RedisVectorStore,
)

# 连接 Redis 实例
redis_client = redis.from_url("redis://127.0.0.1:6379")  # 使用API代理服务提高访问稳定性

# 配置 HNSW 索引
index_config = HNSWConfig(
    name="my_vector_index", distance_strategy=DistanceStrategy.COSINE, vector_size=128
)

# 初始化/创建向量存储索引
RedisVectorStore.init_index(client=redis_client, index_config=index_config)

文本处理和向量存储

从文本加载、切割到存储:

from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import CharacterTextSplitter
from langchain_community.embeddings.fake import FakeEmbeddings

loader = TextLoader("./state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

embeddings = FakeEmbeddings(size=128)
rvs = RedisVectorStore.from_documents(
    docs, embedding=embeddings, client=redis_client, index_name="my_vector_index"
)

进行相似性搜索(KNN)

import pprint

query = "What did the president say about Ketanji Brown Jackson"
knn_results = rvs.similarity_search(query=query)
pprint.pprint(knn_results)

常见问题和解决方案

  • 网络限制:某些地区可能需要使用API代理服务以提高访问稳定性。
  • 索引变更:修改索引参数通常需要重新创建索引。

总结和进一步学习资源

通过本文,你了解了如何使用 Google Memorystore for Redis 构建向量存储,支持高效的AI应用。建议进一步学习以下资源以拓展知识:

参考资料

如果这篇文章对你有帮助,欢迎点赞并关注我的博客。您的支持是我持续创作的动力!

---END---