12.9 Oracle Database

23 阅读5分钟

Oracle Database 23ai - AI Vector Search

AI Vector Search 功能的 Oracle Database 23ai (23.4+) 可作为 Spring AI VectorStore 使用,帮助您存储文档嵌入(embeddings)并执行相似性搜索。当然,所有其他功能也都可用。

提示: 本地运行 Oracle Database 23ai 附录展示了如何使用轻量级 Docker 容器启动数据库。

Auto-Configuration(自动配置)

注意: Spring AI 自动配置和启动器模块的构件名称发生了重大变化。请参考 升级说明 了解更多信息。

首先将 Oracle Vector Store boot starter 依赖项添加到您的项目中:

<dependency>
	<groupId>org.springframework.ai</groupId>
	<artifactId>spring-ai-starter-vector-store-oracle</artifactId>
</dependency>

或者添加到您的 Gradle build.gradle 构建文件中:

dependencies {
    implementation 'org.springframework.ai:spring-ai-starter-vector-store-oracle'
}

如果您需要此向量存储为您初始化架构,那么您需要在适当的构造函数中为 initializeSchema 布尔参数传递 true,或者通过在 application.properties 文件中设置 …​initialize-schema=true

注意: 这是一个破坏性变更!在早期版本的 Spring AI 中,此架构初始化默认发生。

向量存储还需要一个 EmbeddingModel 实例来计算文档的嵌入。您可以选择任何可用的 EmbeddingModel 实现

例如,要使用 OpenAI EmbeddingModel,请将以下依赖项添加到您的项目中:

<dependency>
	<groupId>org.springframework.ai</groupId>
	<artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>

或者添加到您的 Gradle build.gradle 构建文件中:

dependencies {
    implementation 'org.springframework.ai:spring-ai-starter-model-openai'
}

提示: 参考 依赖管理 部分将 Spring AI BOM 添加到您的构建文件中。参考 构件仓库 部分将 Maven Central 和/或 Snapshot Repositories 添加到您的构建文件中。

要连接和配置 OracleVectorStore,您需要提供数据库的访问详细信息。可以通过 Spring Boot 的 application.yml 提供简单的配置:

spring:
  datasource:
    url: jdbc:oracle:thin:@//localhost:1521/freepdb1
    username: mlops
    password: mlops
  ai:
	vectorstore:
	  oracle:
	    index-type: IVF
	    distance-type: COSINE
	    dimensions: 1536

提示: 查看 配置参数 列表以了解默认值和配置选项。

现在您可以在应用程序中自动装配 OracleVectorStore 并使用它:

@Autowired VectorStore vectorStore;

// ...

List<Document> documents = List.of(
    new Document("Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!!", Map.of("meta1", "meta1")),
    new Document("The World is Big and Salvation Lurks Around the Corner"),
    new Document("You walk forward facing the past and you turn back toward the future.", Map.of("meta2", "meta2")));

// Add the documents to Oracle Vector Store
vectorStore.add(documents);

// Retrieve documents similar to a query
List<Document> results = this.vectorStore.similaritySearch(SearchRequest.builder().query("Spring").topK(5).build());

Configuration properties(配置属性)

您可以在 Spring Boot 配置中使用以下属性来自定义 OracleVectorStore

属性描述默认值
spring.ai.vectorstore.oracle.index-type最近邻搜索索引类型。选项包括:
- NONE - 精确最近邻搜索
- IVF - 倒排文件索引。构建时间更快,内存使用比 HNSW 少,但查询性能较低(在速度-召回权衡方面)
- HNSW - 创建多层图。构建时间比 IVF 慢,内存使用更多,但查询性能更好(在速度-召回权衡方面)
NONE
spring.ai.vectorstore.oracle.distance-type搜索距离类型,包括 COSINE(默认)、DOTEUCLIDEANEUCLIDEAN_SQUAREDMANHATTAN
注意: 如果向量已归一化,您可以使用 DOTCOSINE 以获得最佳性能。
COSINE
spring.ai.vectorstore.oracle.forced-normalization允许在插入和相似性搜索之前启用向量归一化(如果为 true)。
警告: 将此设置为 true 是允许 搜索请求相似度阈值 的要求。
注意: 如果向量已归一化,您可以使用 DOTCOSINE 以获得最佳性能。
false
spring.ai.vectorstore.oracle.dimensions嵌入维度。如果未明确指定,OracleVectorStore 将允许最大值:65535。维度在表创建时设置到嵌入列上。如果您更改维度,您也必须重新创建表。65535
spring.ai.vectorstore.oracle.remove-existing-vector-store-table在启动时删除现有表。false
spring.ai.vectorstore.oracle.initialize-schema是否初始化所需架构。false
spring.ai.vectorstore.oracle.search-accuracy表示在存在索引的情况下请求的精度目标。默认禁用。您需要提供范围 [1,100] 中的整数来覆盖默认索引精度(95)。使用较低精度提供近似相似性搜索,权衡速度与精度。-1 (DEFAULT_SEARCH_ACCURACY)

Metadata filtering(元数据过滤)

您可以在 OracleVectorStore 中使用通用的、可移植的 元数据过滤器

例如,您可以使用文本表达式语言:

vectorStore.similaritySearch(
    SearchRequest.builder()
    .query("The World")
    .topK(TOP_K)
    .similarityThreshold(SIMILARITY_THRESHOLD)
    .filterExpression("author in ['john', 'jill'] && article_type == 'blog'").build());

或者以编程方式使用 Filter.Expression DSL:

FilterExpressionBuilder b = new FilterExpressionBuilder();

vectorStore.similaritySearch(SearchRequest.builder()
    .query("The World")
    .topK(TOP_K)
    .similarityThreshold(SIMILARITY_THRESHOLD)
    .filterExpression(b.and(
        b.in("author","john", "jill"),
        b.eq("article_type", "blog")).build()).build());

注意: 这些过滤表达式被转换为等效的 OracleVectorStore 过滤器。

Manual Configuration(手动配置)

您也可以手动配置 OracleVectorStore,而不是使用 Spring Boot 自动配置。为此,您需要将 Oracle JDBC 驱动程序和 JdbcTemplate 自动配置依赖项添加到您的项目中:

<dependency>
	<groupId>org.springframework.boot</groupId>
	<artifactId>spring-boot-starter-jdbc</artifactId>
</dependency>

<dependency>
	<groupId>com.oracle.database.jdbc</groupId>
	<artifactId>ojdbc11</artifactId>
	<scope>runtime</scope>
</dependency>

<dependency>
	<groupId>org.springframework.ai</groupId>
	<artifactId>spring-ai-oracle-store</artifactId>
</dependency>

提示: 参考 依赖管理 部分将 Spring AI BOM 添加到您的构建文件中。

要在应用程序中配置 OracleVectorStore,您可以使用以下设置:

@Bean
public VectorStore vectorStore(JdbcTemplate jdbcTemplate, EmbeddingModel embeddingModel) {
    return OracleVectorStore.builder(jdbcTemplate, embeddingModel)
        .tableName("my_vectors")
        .indexType(OracleVectorStoreIndexType.IVF)
        .distanceType(OracleVectorStoreDistanceType.COSINE)
        .dimensions(1536)
        .searchAccuracy(95)
        .initializeSchema(true)
        .build();
}

Run Oracle Database 23ai locally(本地运行 Oracle Database 23ai)

docker run --rm --name oracle23ai -p 1521:1521 -e APP_USER=mlops -e APP_USER_PASSWORD=mlops -e ORACLE_PASSWORD=mlops gvenzl/oracle-free:23-slim

然后您可以使用以下方式连接到数据库:

sql mlops/mlops@localhost/freepdb1

Accessing the Native Client(访问原生客户端)

Oracle Vector Store 实现提供了通过 getNativeClient() 方法访问底层原生 Oracle 客户端(OracleConnection)的功能:

OracleVectorStore vectorStore = context.getBean(OracleVectorStore.class);
Optional<OracleConnection> nativeClient = vectorStore.getNativeClient();

if (nativeClient.isPresent()) {
    OracleConnection connection = nativeClient.get();
    // Use the native client for Oracle-specific operations
}

原生客户端让您能够访问可能未通过 VectorStore 接口暴露的 Oracle 特定功能和操作。