12.12 Redis

吴祖贤
36 阅读4分钟

Redis

本节将指导您设置 RedisVectorStore 来存储文档嵌入（embeddings）并执行相似性搜索。

Redis 是一个开源（BSD 许可）、内存数据结构存储，用作数据库、缓存、消息代理和流引擎。Redis 提供数据结构，如字符串、哈希、列表、带有范围查询的有序集合、位图、超日志、地理空间索引和流。

Redis Search and Query 扩展了 Redis OSS 的核心功能，让您可以将 Redis 用作向量数据库：

  • 在哈希或 JSON 文档中存储向量和相关元数据
  • 检索向量
  • 执行向量搜索

Prerequisites（先决条件）

  1. Redis Stack 实例

  2. EmbeddingModel 实例来计算文档嵌入。有几个选项可用：

    • 如果需要，为 EmbeddingModel 提供 API 密钥，用于生成由 RedisVectorStore 存储的嵌入。

Auto-configuration（自动配置）

注意: Spring AI 自动配置和启动器模块的构件名称发生了重大变化。请参考 升级说明 了解更多信息。

Spring AI 为 Redis Vector Store 提供 Spring Boot 自动配置。要启用它，请将以下依赖项添加到您项目的 Maven pom.xml 文件中：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-vector-store-redis</artifactId>
</dependency>

或者添加到您的 Gradle build.gradle 构建文件中：

dependencies {
    implementation 'org.springframework.ai:spring-ai-starter-vector-store-redis'
}

提示: 参考 依赖管理 部分将 Spring AI BOM 添加到您的构建文件中。

提示: 参考 构件仓库 部分将 Maven Central 和/或 Snapshot Repositories 添加到您的构建文件中。

向量存储实现可以为您初始化所需的架构，但您必须通过在适当的构造函数中指定 initializeSchema 布尔值或在 application.properties 文件中设置 …​initialize-schema=true 来选择启用。

注意: 这是一个破坏性变更！在早期版本的 Spring AI 中，此架构初始化默认发生。

请查看向量存储的 配置参数 列表，了解默认值和配置选项。

此外，您需要一个配置好的 EmbeddingModel bean。有关更多信息，请参考 EmbeddingModel 部分。

现在您可以在应用程序中将 RedisVectorStore 自动装配为向量存储：

@Autowired VectorStore vectorStore;

// ...

List <Document> documents = List.of(
    new Document("Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!!", Map.of("meta1", "meta1")),
    new Document("The World is Big and Salvation Lurks Around the Corner"),
    new Document("You walk forward facing the past and you turn back toward the future.", Map.of("meta2", "meta2")));

// Add the documents to Redis
vectorStore.add(documents);

// Retrieve documents similar to a query
List<Document> results = this.vectorStore.similaritySearch(SearchRequest.builder().query("Spring").topK(5).build());

Configuration Properties（配置属性）

要连接到 Redis 并使用 RedisVectorStore，您需要为您的实例提供访问详细信息。可以通过 Spring Boot 的 application.yml 提供简单的配置：

spring:
  data:
    redis:
      url: <redis instance url>
  ai:
    vectorstore:
      redis:
        initialize-schema: true
        index-name: custom-index
        prefix: custom-prefix

对于 Redis 连接配置，或者，可以通过 Spring Boot 的 application.properties 提供简单的配置：

spring.data.redis.host=localhost
spring.data.redis.port=6379
spring.data.redis.username=default
spring.data.redis.password=

以 spring.ai.vectorstore.redis.* 开头的属性用于配置 RedisVectorStore：

属性描述默认值
spring.ai.vectorstore.redis.initialize-schema是否初始化所需的架构false
spring.ai.vectorstore.redis.index-name存储向量的索引名称spring-ai-index
spring.ai.vectorstore.redis.prefixRedis 键的前缀embedding:

Metadata Filtering（元数据过滤）

您也可以在 Redis 中使用通用的、可移植的 元数据过滤器。

例如，您可以使用文本表达式语言：

vectorStore.similaritySearch(SearchRequest.builder()
        .query("The World")
        .topK(TOP_K)
        .similarityThreshold(SIMILARITY_THRESHOLD)
        .filterExpression("country in ['UK', 'NL'] && year >= 2020").build());

或者以编程方式使用 Filter.Expression DSL：

FilterExpressionBuilder b = new FilterExpressionBuilder();

vectorStore.similaritySearch(SearchRequest.builder()
        .query("The World")
        .topK(TOP_K)
        .similarityThreshold(SIMILARITY_THRESHOLD)
        .filterExpression(b.and(
                b.in("country", "UK", "NL"),
                b.gte("year", 2020)).build()).build());

注意: 这些（可移植的）过滤表达式会自动转换为 Redis 搜索查询。

例如，这个可移植过滤表达式：

country in ['UK', 'NL'] && year >= 2020

被转换为专有的 Redis 过滤格式：

@country:{UK | NL} @year:[2020 inf]

Manual Configuration（手动配置）

您也可以手动配置 Redis 向量存储，而不是使用 Spring Boot 自动配置。为此，您需要将 spring-ai-redis-store 添加到您的项目中：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-redis-store</artifactId>
</dependency>

或者添加到您的 Gradle build.gradle 构建文件中：

dependencies {
    implementation 'org.springframework.ai:spring-ai-redis-store'
}

创建 JedisPooled bean：

@Bean
public JedisPooled jedisPooled() {
    return new JedisPooled("<host>", 6379);
}

然后使用构建器模式创建 RedisVectorStore bean：

@Bean
public VectorStore vectorStore(JedisPooled jedisPooled, EmbeddingModel embeddingModel) {
    return RedisVectorStore.builder(jedisPooled, embeddingModel)
        .indexName("custom-index")                // 可选：默认为 "spring-ai-index"
        .prefix("custom-prefix")                  // 可选：默认为 "embedding:"
        .metadataFields(                         // 可选：定义用于过滤的元数据字段
            MetadataField.tag("country"),
            MetadataField.numeric("year"))
        .initializeSchema(true)                   // 可选：默认为 false
        .batchingStrategy(new TokenCountBatchingStrategy()) // 可选：默认为 TokenCountBatchingStrategy
        .build();
}

// This can be any EmbeddingModel implementation
@Bean
public EmbeddingModel embeddingModel() {
    return new OpenAiEmbeddingModel(new OpenAiApi(System.getenv("OPENAI_API_KEY")));
}

注意: 您必须明确列出所有用于过滤表达式的元数据字段名称和类型（TAG、TEXT 或 NUMERIC）。上面的 metadataFields 注册了可过滤的元数据字段：类型为 TAG 的 country，类型为 NUMERIC 的 year。

Accessing the Native Client（访问原生客户端）

Redis Vector Store 实现提供了通过 getNativeClient() 方法访问底层原生 Redis 客户端（JedisPooled）的功能：

RedisVectorStore vectorStore = context.getBean(RedisVectorStore.class);
Optional<JedisPooled> nativeClient = vectorStore.getNativeClient();

if (nativeClient.isPresent()) {
    JedisPooled jedis = nativeClient.get();
    // Use the native client for Redis-specific operations
}

原生客户端让您能够访问可能未通过 VectorStore 接口暴露的 Redis 特定功能和操作。

avatar
文章
阅读
粉丝