云Pinecone向量数据库集成SpringAI

PetterHillWater
39 阅读5分钟

RAG实现架构图

image.png

动态版 player.youku.com/embed/XNjUw…

Pinecone面板

image.png

查询QPS

image.png 峰值插入

image.png

模型

llama-text-embed-v2 是由NVIDIA Research开发的一款先进的文本嵌入模型，旨在提供高质量的检索能力和低延迟的推理性能。该模型也被称为 llama-3_2-nv-embedqa-1b-v2，它基于Llama 3.2 1B架构，并融合了NVIDIA在大型语言模型领域的领先技术，是一款专为生产环境设计的、高效且功能强大的解决方案。

  • 卓越的检索质量: 在多个基准测试中，llama-text-embed-v2 的性能均超越了OpenAI的text-embedding-3-large模型，在某些场景下，其准确率提升超过20%。这使其在构建精准的语义搜索、问答系统和推荐系统等应用时尤为出色。

  • 高效的实时查询: 经过优化，该模型能够提供稳定且可预测的查询速度。其p99延迟（即99%的请求都能在此时间内得到响应）比OpenAI的同类大型模型快12倍，从而确保了流畅的用户体验。

  • 强大的多语言能力: llama-text-embed-v2 支持包括中文在内的26种语言，其他还涵盖英语、西班牙语、印地语、日语、韩语、法语和德语等。这一特性使其能够轻松应对跨语言的检索和信息处理任务。

  • 灵活的配置选项:

    • 可变维度: 支持384、512、768、1024、2048等多种输出嵌入维度，允许开发者根据存储成本和应用需求进行灵活选择。
    • 长文本支持: 最大输入token数量可达2048个，能够有效处理较长的文档和文本片段。

技术架构与性能

llama-text-embed-v2 的核心是Llama 3.2 1B模型，通过NVIDIA的先进技术进行蒸馏和优化，将一个原本庞大的70亿参数模型（NV-2）的精华浓缩到一个更小、更高效的10亿参数模型中。这种设计不仅保证了模型的高质量，也显著降低了部署和运行成本。

在性能方面，特别是在针对特定领域的检索任务（如金融领域的FiQA数据集）和常识问答（如Natural Questions和HotpotQA数据集）上，该模型均表现出与甚至超越业界顶尖模型的实力。

应用场景

凭借其出色的性能和多功能性，llama-text-embed-v2 广泛适用于以下场景：

  • 语义搜索: 快速、准确地从海量文本数据中检索出与用户查询意图最相关的内容。
  • 检索增强生成 (RAG) : 作为RAG系统的核心组件，为大型语言模型提供精准的背景知识，以生成更可靠、更具事实性的回答。
  • 问答系统: 构建能够理解并回答复杂问题的智能问答机器人。
  • 文本聚类与分类: 对文档进行自动化分类和聚类，方便信息管理和分析。
  • 推荐系统: 根据用户的兴趣和行为，推荐相关的文章、产品或服务。

工程实践

依赖， 实际上版本是V4.0.1

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-vector-store-pinecone</artifactId>
</dependency>

包含

<groupId>io.pinecone</groupId>
<artifactId>pinecone-client</artifactId>
<version>4.0.1</version>

常见配置

spring:
  ai:
    vectorstore:
      pinecone:
        apiKey: ${PINECONE_API_KEY}
        environment: ${PINECONE_ENV}
        index-name: ${PINECONE_INDEX}
        project-id: ${PINECONE_PROJECT_ID}

环境变量

image.png

Spring AI 下边界问题

异常：io.pinecone.proto.VectorServiceGrpc$VectorServiceBlockingStub.upsert io.grpc.StatusRuntimeException: OUT_OF_RANGE: Error, message length too large: found 43643313 bytes, the limit is: 4194304 bytes

解决方案

// 在RagDataLoader类中添加批次大小常量
private static final int BATCH_SIZE = 1000;

// 修改run方法中的处理逻辑
logger.info("Creating Embeddings...");
try {
// Create a JSON reader with fields relevant to our use case
JsonReader loader = new JsonReader(file, KEYS);
// Use the autowired VectorStore to insert the documents into Redis
List documentList = loader.get();

// 分批处理文档
for (int i = 0; i < documentList.size(); i += BATCH_SIZE) {
int endIndex = Math.min(i + BATCH_SIZE, documentList.size());
List batch = documentList.subList(i, endIndex);
vectorStore.add(batch);
logger.info("Processed batch {}/{}", (i / BATCH_SIZE) + 1,
(documentList.size() + BATCH_SIZE - 1) / BATCH_SIZE);
}
} catch (RuntimeException e) {
if (e.getCause() instanceof IOException) {
throw (IOException) e.getCause();
}
throw e;
}

维度dimension异常

INVALID_ARGUMENT: Vector dimension 384 does not match the dimension of the index 1024

创建Index的dimension与工程需要一致

原因是嵌入模型维度与 Pinecone 索引维度不匹配。 检查配置一致性

spring.ai.vectorstore.pinecone.dimension=384

image.png

运行日志

2025-10-14T17:02:35.742+08:00  INFO 3844 --- [           main] com.redis.demo.spring.ai.RagDataLoader   : Embeddings already loaded (found 35799 documents). Skipping
2025-10-14T17:02:42.790+08:00  INFO 3844 --- [nio-8080-exec-1] o.a.c.c.C.[Tomcat].[localhost].[/]       : Initializing Spring DispatcherServlet 'dispatcherServlet'
2025-10-14T17:02:42.791+08:00  INFO 3844 --- [nio-8080-exec-1] o.s.web.servlet.DispatcherServlet        : Initializing Servlet 'dispatcherServlet'
2025-10-14T17:02:42.793+08:00  INFO 3844 --- [nio-8080-exec-1] o.s.web.servlet.DispatcherServlet        : Completed initialization in 1 ms
2025-10-14T17:02:43.392+08:00  INFO 3844 --- [nio-8080-exec-1] ai.djl.pytorch.engine.PtEngine           : PyTorch graph executor optimizer is enabled, this may impact your inference latency and throughput. See: docs.djl.ai/master/docs…
2025-10-14T17:02:43.394+08:00  INFO 3844 --- [nio-8080-exec-1] ai.djl.pytorch.engine.PtEngine           : Number of inter-op threads is 4
2025-10-14T17:02:43.394+08:00  INFO 3844 --- [nio-8080-exec-1] ai.djl.pytorch.engine.PtEngine           : Number of intra-op threads is 4

我们Chat Model使用deepseek-ai/DeepSeek-V3, 基于硅基流动。还有一些注意事项：

免费Pinecone云套餐不支持命名空间，需将所有数据存储在默认命名空间中。
使用 Pinecone 的稀疏索引时，需确保嵌入模型支持稀疏输出（如pinecone-sparse-english-v0），在 Spring AI 中，通过PineconeVectorStore的sparseModel参数配置稀疏嵌入模型

通过 Pinecone 控制台或 API 预创建索引，确保索引类型（如稠密、稀疏）和距离度量（如余弦、点积）与业务需求匹配。
避免在运行时频繁创建 / 删除索引，可通过版本控制或蓝绿部署实现零停机更新

总结

        在 Spring AI 集成 Pinecone 的过程中，常见问题主要集中在配置、数据格式、性能优化和功能适配等方面。代码在这儿。Spring AI官方文档。

avatar
文章
阅读
粉丝