Spring AI Embedding模型概念、源码分析和使用示例

房杰
1,372 阅读6分钟

本篇对嵌入模型的概念、Spring AI 框架对支持嵌入模型的设计，并对其源码进行分析，最后对API接口进行使用。

Embedding模型是RAG（Retrieval-Augmented Generation）核心技术，是大模型应用落地必不可少的技术。

  • 影响信息检索的效果
  • 影响文本的生成质量

什么是Embedding模型

Embedding模型是指将高维度的数据（例如文字、图片、视频）映射到低维度空间的过程。简单来说，embedding向量就是一个N维的实值向量，它将输入的数据表示成一个连续的数值空间中的点。 image.png 如上图，通俗易懂的描述：嵌入就相当于给文本穿上了“数字化”的外衣，目的是让机器更好的理解和处理各种类型数据（文本、图片及视频）。

Embedding 起源于 Word Embedding。

  • 横向发展：Word Embedding -> Item Embedding -> Entity Embedding -> Graph Embedding -> Position Embedding -> Segment Embedding。

  • 纵向发展：由静态的Word Embedding（如Word2Vec、GloVe和FastText） -> 动态预训练模型（如ELMo、BERT、GPT、GPT-2、GPT-3、ALBERT、XLNet等）。大型语言模型可以生成上下文相关的 embedding 表示，可以更好地捕捉单词的语义和上下文信息。

使用场景

  • 自然语言处理：将单词或句子转换成向量表示，用于文本分类，机器翻译，情感分析等任务。
  • 推荐系统：将用户和产品映射成向量表示，从而能够更好地理解用户的喜好和匹配物品。
  • 图像处理：将图像转换成向量表示，用于图像分类，对象检测等任务。
  • RAG系统：生成N维嵌入向量数据，使机器更好的理解和处理各种类型处理，为相似搜索提供基础。

解决问题

  • 降维：在高维度空间中，数据点之间可能存在很大的距离，使得样本稀疏，嵌入模型可以减少数据稀疏性。
  • 捕捉语义信息：Embedding不仅仅是降维，更重要的是，它能够捕捉到数据的语义信息。语义相近的词在向量上也是相近的
  • 特征表示：原始数据的特征往往难以直接使用，通过嵌入模型可以将特征转换成更有意义的表示。
  • 计算效率：在低维度空间中对数据进行处理和分析往往更加高效。

Spring AI 框架集成的嵌入模型

嵌入模型嵌入模型类型
OpenAI Embeddingstext-embedding-3-large 、 text-embedding-3-small 、 text-embedding-ada-002
Azure OpenAI Embeddingstext-embedding-ada-002
Cohere Embeddingscohere.embed-multilingual-v3 、 cohere.embed-english-v3
Titan Embeddingsamazon.titan-embed-image-v1、 amazon.titan-embed-text-v1、 amazon.titan-embed-text-v2:0
Mistral AI Embeddingsmistral-embed
VertexAI Embeddingsembedding-gecko-001
ZhiPuAI EmbeddingsEmbedding-2
PostgresML Embeddings- distilbert-base-uncased
QianFan 【2024/6/20 新增】embedding-v1 、 bge_large_zh、bge_large_en、 tao_8k

在 Spring AI 框架中仅支持了国内的智普嵌入模型、百度千帆大模型，对于千问大模型还没有支持，后续猜测可能会支持。如果接入其它未集成嵌入模型，只能执行接入了。

这么多的嵌入模型，我们究竟该如何选择，选择的标准和方法是什么？

选择的标准

  • 模型的性能（准确性）
  • 模型的处理速度
  • 生成向量维度大小
  • 模型的通用性
  • 业务场景（中/英）、重排序、分类等等

选择的方法

  • 参考Huggingface MTEB的排名，从最新趋势和下载量方面判断。

    在Huggingface MTEB嵌入模型多个维度对比结果如下图所示； image.png

  • 自行进行实验对比，通过实验报告排名，进行选择。

嵌入模型源码分析

设计理念

Spring AI 以可移植性 和简单性 的设计理念，统一的抽象EmbeddingModel，旨在与AI和机器学习中的嵌入模型直接集成。

  • 可移植性：可确保在各种嵌入模型之间轻松适应。它允许开发人员在不同的嵌入技术或模型之间切换，只需最少的代码更改。这种设计符合Spring的模块化和可互换性理念。
  • 简单性：消除了处理原始文本数据和嵌入算法的复杂性，使开发人员无需深入研究底层机制就可以在应用中直接使用。

设计思想

EmbeddingModel类的集成关系如下图(图来自官方网站)所示 image.png 提供统一抽象类EmbeddingModel提供给使用者，而不必了解其内部的实现细节，快速集成嵌入模型。

EmbeddingModel 接口

EmbeddingModel作用是调用大模型嵌入模型，将文本，图片或者视频转换为向量。

public interface EmbeddingModel extends Model<EmbeddingRequest, EmbeddingResponse> {
    //嵌入模型访问统一抽象接口，不同的大模型实现该方法完成各自的嵌入逻辑
    @Override
    EmbeddingResponse call(EmbeddingRequest request);

    // 将从文档中抽取出来的Document转换为向量，其中Document对象是在Spring AI文本抽取定义
    // 后续文章会对文档的解析进行说明
    List<Double> embed(Document document);
    
    // 将文本转换为向量
    default List<Double> embed(String text) {
        Assert.notNull(text, "Text must not be null");
        return this.embed(List.of(text)).iterator().next();
    }
    
    // 将一组文本转换为对应的一组向量
    default List<List<Double>> embed(List<String> texts) {
        Assert.notNull(texts, "Texts must not be null");
        return this.call(new EmbeddingRequest(texts, EmbeddingOptions.EMPTY))
                .getResults()
                .stream()
                .map(Embedding::getOutput)
                .toList();
    }

    default EmbeddingResponse embedForResponse(List<String> texts) {
        Assert.notNull(texts, "Texts must not be null");
        return this.call(new EmbeddingRequest(texts, EmbeddingOptions.EMPTY));
    }

    // 返回向量的维度，比如OpenAI的 text-embedding-ada-002的维度为1536
    // 在AbstractEmbeddingModel中有处理逻辑，在embedding-model-dimensions.properties
    // 中有定义，没有定义的会通过测试文本向嵌入模型请求返回
    default int dimensions() {
        return embed("Test String").size();
    }

}

EmbeddingRequest

public class EmbeddingRequest implements ModelRequest<List<String>> {
    // 需要嵌入的文本列表
    private final List<String> inputs;
    private final EmbeddingOptions options;
    // other methods omitted
}

EmbeddingRequest 是 ModelRequest 子类，其中包含需要嵌入的文本列表和嵌入的一些配置

EmbeddingResponse

public class EmbeddingResponse implements ModelResponse<Embedding> {
   // 返回文本的嵌入列表
   private List<Embedding> embeddings;
   private EmbeddingResponseMetadata metadata = new EmbeddingResponseMetadata();
   // other methods omitted
}

EmbeddingModel实现类

image.png 可以根据需求，选择符合自己需求的嵌入模型。在选择嵌入模型时应该考虑 【响应时间的要求】、【存储限制】、【预算约束】、【多语言支持】等来选择。

代码示例

特别提醒，如果还不知道如何使用Ollama本地部署大模型的请阅读：# 10. Ollama：本地部署大模型 + LobeChat：聊天界面 = 自己的ChatGPT

yml配置：

spring:
  ai:
    ollama:
      base-url: http://localhost:11434
      embedding:
        options:
          model: gemma:2b

代码实现

package org.ivy.controller;

import jakarta.annotation.Resource;
import org.springframework.ai.embedding.EmbeddingRequest;
import org.springframework.ai.embedding.EmbeddingResponse;
import org.springframework.ai.ollama.OllamaEmbeddingModel;
import org.springframework.ai.ollama.api.OllamaModel;
import org.springframework.ai.ollama.api.OllamaOptions;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;

import java.util.List;

@RestController
public class EmbeddingController {

    @Resource
    private OllamaEmbeddingModel ollamaEmbeddingModel;

    @GetMapping("/text")
    public List<Double> textEmbedding(String text) {
        return ollamaEmbeddingModel.embed(text);
    }

    @GetMapping("texts")
    public EmbeddingResponse embedding(List<String> texts) {
        EmbeddingRequest request = new EmbeddingRequest(texts,
                OllamaOptions.create().withModel(OllamaModel.GEMMA.getModelName())
        );
        return ollamaEmbeddingModel.call(request);
    }
}

验证结果 image.png 结果就是返回一组向量，具体如何实现，底层的算法是什么，大家自行学习了，不知道并不影响你开发应用。但是对概念还是的要清晰的理解的。

文末总结

本篇文章主要介绍了嵌入模型的概念，作用，使用场景。并分析了Spring AI框架实现嵌入的设计理念以及源码分析。

avatar
文章
阅读
粉丝