4.11 OpenAI Chat

吴祖贤
120 阅读18分钟

OpenAI Chat

Spring AI 参考文档 - OpenAI 聊天模型集成指南

概述

Spring AI 支持来自 OpenAI 的各种 AI 语言模型，OpenAI 是 ChatGPT 背后的公司，凭借其创建的行业领先的文本生成模型和嵌入模型，在推动 AI 驱动文本生成方面发挥了重要作用，激发了人们对该领域的兴趣。

先决条件

您需要在 OpenAI 创建 API 以访问 ChatGPT 模型。

在 OpenAI 注册页面 创建账户，并在 API 密钥页面 生成令牌。

Spring AI 项目定义了一个名为 spring.ai.openai.api-key 的配置属性，您应该将其设置为从 openai.com 获得的 API 密钥的值。

您可以在 application.properties 文件中设置此配置属性：

spring.ai.openai.api-key=<您的OpenAI API密钥>

为了在处理 API 密钥等敏感信息时增强安全性，您可以使用 Spring 表达式语言 (SpEL) 来引用自定义环境变量：

# 在 application.yml 中
spring:
  ai:
    openai:
      api-key: ${OPENAI_API_KEY}

# 在您的环境或 .env 文件中
export OPENAI_API_KEY=<您的OpenAI API密钥>

您也可以在应用程序代码中以编程方式设置此配置：

// 从安全源或环境变量检索 API 密钥
String apiKey = System.getenv("OPENAI_API_KEY");

添加存储库和 BOM

Spring AI 构件发布在 Maven Central 和 Spring Snapshot 存储库中。 请参考构件存储库部分，将这些存储库添加到您的构建系统。

为了帮助依赖管理，Spring AI 提供了 BOM（物料清单）以确保在整个项目中使用一致的 Spring AI 版本。 请参考依赖管理部分，将 Spring AI BOM 添加到您的构建系统。

自动配置

注意：Spring AI 自动配置和启动模块构件名称发生了重大变化。 请参阅升级说明了解更多信息。

Spring AI 为 OpenAI 聊天客户端提供 Spring Boot 自动配置。 要启用它，请将以下依赖项添加到您项目的 Maven pom.xml 或 Gradle build.gradle 构建文件中：

Maven:

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>

Gradle:

dependencies {
    implementation 'org.springframework.ai:spring-ai-starter-model-openai'
}

提示：请参考依赖管理部分，将 Spring AI BOM 添加到您的构建文件中。

聊天属性

重试属性

前缀 spring.ai.retry 用作属性前缀，让您可以为 OpenAI 聊天模型配置重试机制。

属性描述默认值
spring.ai.retry.max-attempts最大重试尝试次数10
spring.ai.retry.backoff.initial-interval指数退避策略的初始睡眠持续时间2 秒
spring.ai.retry.backoff.multiplier退避间隔乘数5
spring.ai.retry.backoff.max-interval最大退避持续时间3 分钟
spring.ai.retry.on-client-errors如果为 false，则抛出 NonTransientAiException，并且不会尝试重试 4xx 客户端错误代码false
spring.ai.retry.exclude-on-http-codes不应触发重试的 HTTP 状态代码列表（例如，抛出 NonTransientAiException）空
spring.ai.retry.on-http-codes应触发重试的 HTTP 状态代码列表（例如，抛出 TransientAiException）空
连接属性

前缀 spring.ai.openai 用作属性前缀，让您可以连接到 OpenAI。

属性描述默认值
spring.ai.openai.base-url连接的 URLapi.openai.com
spring.ai.openai.api-keyAPI 密钥-
spring.ai.openai.organization-id可选地，您可以指定为 API 请求使用哪个组织。-
spring.ai.openai.project-id可选地，您可以指定为 API 请求使用哪个项目。-

对于属于多个组织（或通过其传统用户 API 密钥访问其项目）的用户，您可以可选地指定为 API 请求使用哪个组织和项目。来自这些 API 请求的使用量将计入指定组织和项目的使用量。

配置属性

注意：聊天自动配置的启用和禁用现在通过前缀为 spring.ai.model.chat 的顶级属性配置。

要启用：spring.ai.model.chat=openai（默认启用）

要禁用：spring.ai.model.chat=none（或任何不匹配 openai 的值）

进行此更改是为了允许多个模型的配置。

前缀 spring.ai.openai.chat 是属性前缀，让您可以为 OpenAI 配置聊天模型实现。

属性描述默认值
spring.ai.openai.chat.enabled (已移除，不再有效)启用 OpenAI 聊天模型true
spring.ai.model.chat启用 OpenAI 聊天模型openai
spring.ai.openai.chat.base-urlspring.ai.openai.base-url 属性的可选覆盖，以提供聊天特定的 URL-
spring.ai.openai.chat.completions-path要附加到基础 URL 的路径/v1/chat/completions
spring.ai.openai.chat.api-keyspring.ai.openai.api-key 的可选覆盖，以提供聊天特定的 API 密钥-
spring.ai.openai.chat.organization-id可选地，您可以指定为 API 请求使用哪个组织。-
spring.ai.openai.chat.project-id可选地，您可以指定为 API 请求使用哪个项目。-
spring.ai.openai.chat.options.model要使用的 OpenAI 聊天模型的名称。您可以选择 gpt-4o、gpt-4o-mini、gpt-4-turbo、gpt-3.5-turbo 等模型。更多信息请参阅模型页面。gpt-4o-mini
spring.ai.openai.chat.options.temperature使用的采样温度，控制生成完成的明显创造性。较高的值会使输出更随机，而较低的值会使结果更聚焦和确定性。不建议同时修改温度和 top_p 的相同完成请求，因为这两个设置的相互作用难以预测。0.8
spring.ai.openai.chat.options.frequencyPenalty-2.0 到 2.0 之间的数字。正值根据新令牌在文本中的现有频率对其进行惩罚，降低模型逐字重复同一行的可能性。0.0f
spring.ai.openai.chat.options.logitBias修改指定令牌在完成中出现的可能性。-
spring.ai.openai.chat.options.maxTokens在聊天完成中生成的最大令牌数。输入令牌和生成令牌的总长度受模型的上下文长度限制。用于非推理模型（例如，gpt-4o、gpt-3.5-turbo）。不能与推理模型（例如，o1、o3、o4-mini 系列）一起使用。与 maxCompletionTokens 互斥 - 同时设置两者将导致 API 错误。-
spring.ai.openai.chat.options.maxCompletionTokens可以为完成生成的令牌数上限，包括可见输出令牌和推理令牌。推理模型（例如，o1、o3、o4-mini 系列）需要此选项。不能与非推理模型（例如，gpt-4o、gpt-3.5-turbo）一起使用。与 maxTokens 互斥 - 同时设置两者将导致 API 错误。-
spring.ai.openai.chat.options.n为每个输入消息生成多少聊天完成选择。请注意，您将根据所有选择中生成的令牌数量计费。将 n 保持为 1 以最小化成本。1
spring.ai.openai.chat.options.store是否将此聊天完成请求的输出存储用于我们的模型中false
spring.ai.openai.chat.options.metadata开发人员定义的标签和值，用于在聊天完成仪表板中过滤完成空映射
spring.ai.openai.chat.options.output-modalities您希望模型为此请求生成的输出类型。大多数模型能够生成文本，这是默认值。gpt-4o-audio-preview 模型也可用于生成音频。要请求此模型同时生成文本和音频响应，您可以使用：text, audio。不支持流式传输。-
spring.ai.openai.chat.options.output-audio音频生成的音频参数。在使用 output-modalities: audio 请求音频输出时必需。需要 gpt-4o-audio-preview 模型，不支持流式完成。-
spring.ai.openai.chat.options.presencePenalty-2.0 到 2.0 之间的数字。正值根据新令牌是否出现在文本中来对其进行惩罚，增加模型谈论新主题的可能性。-
spring.ai.openai.chat.options.responseFormat.type兼容 GPT-4o、GPT-4o mini、GPT-4 Turbo 和所有比 gpt-3.5-turbo-1106 更新的 GPT-3.5 Turbo 模型。JSON_OBJECT 类型启用 JSON 模式，保证模型生成的消息是有效的 JSON。JSON_SCHEMA 类型启用结构化输出，保证模型将匹配您提供的 JSON 模式。JSON_SCHEMA 类型还需要设置 responseFormat.schema 属性。-
spring.ai.openai.chat.options.responseFormat.name响应格式模式名称。仅适用于 responseFormat.type=JSON_SCHEMAcustom_schema
spring.ai.openai.chat.options.responseFormat.schema响应格式 JSON 模式。仅适用于 responseFormat.type=JSON_SCHEMA-
spring.ai.openai.chat.options.responseFormat.strict响应格式 JSON 模式遵守严格性。仅适用于 responseFormat.type=JSON_SCHEMA-
spring.ai.openai.chat.options.seed此功能处于 Beta 阶段。如果指定，我们的系统将尽力进行确定性采样，使得具有相同种子和参数的重复请求应返回相同结果。-
spring.ai.openai.chat.options.stop最多 4 个序列，API 将停止生成进一步的令牌。-
spring.ai.openai.chat.options.topP温度采样的替代方案，称为核采样，其中模型考虑具有 top_p 概率质量的令牌结果。因此 0.1 意味着只考虑构成前 10% 概率质量的令牌。我们通常建议更改此参数或温度，但不要同时更改两者。-
spring.ai.openai.chat.options.tools模型可能调用的工具列表。目前，仅支持函数作为工具。使用此项提供模型可能为其生成 JSON 输入的函数列表。-
spring.ai.openai.chat.options.toolChoice控制模型调用哪个（如果有）函数。none 表示模型不会调用函数而是生成消息。auto 表示模型可以选择生成消息或调用函数。通过 {"type: "function", "function": {"name": "my_function"}} 指定特定函数强制模型调用该函数。当没有函数时 none 是默认值。如果有函数，auto 是默认值。-
spring.ai.openai.chat.options.user代表您的最终用户的唯一标识符，可以帮助 OpenAI 监控和检测滥用。-
spring.ai.openai.chat.options.functions在单个提示请求中启用函数调用的函数名称列表。具有这些名称的函数必须存在于 functionCallbacks 注册表中。-
spring.ai.openai.chat.options.stream-usage（仅用于流式传输）设置为添加包含整个请求的令牌使用统计的额外块。此块的 choices 字段是空数组，所有其他块也将包含 usage 字段，但值为 null。false
spring.ai.openai.chat.options.parallel-tool-calls是否在工具使用期间启用并行函数调用。true
spring.ai.openai.chat.options.http-headers要添加到聊天完成请求的可选 HTTP 标头。要覆盖 api-key，您需要使用 Authorization 标头键，并且必须在键值前缀加上 Bearer 前缀。-
spring.ai.openai.chat.options.proxy-tool-calls如果为 true，Spring AI 将不会内部处理函数调用，而是将它们代理给客户端。然后是客户端的责任来处理函数调用，将它们分派给适当的函数，并返回结果。如果为 false（默认值），Spring AI 将内部处理函数调用。仅适用于支持函数调用的聊天模型false

当使用 GPT-5 模型（如 gpt-5、gpt-5-mini 和 gpt-5-nano）时，不支持温度参数。这些模型经过优化用于推理，不使用温度。指定温度值将导致错误。相比之下，像 gpt-5-chat 这样的对话模型确实支持温度参数。

注意：您可以覆盖 ChatModel 和 EmbeddingModel 实现的通用 spring.ai.openai.base-url 和 spring.ai.openai.api-key。如果设置了 spring.ai.openai.chat.base-url 和 spring.ai.openai.chat.api-key 属性，它们将优先于通用属性。如果您想为不同的模型和不同的模型端点使用不同的 OpenAI 账户，这很有用。

提示：所有以 spring.ai.openai.chat.options 为前缀的属性都可以通过向 Prompt 调用添加请求特定的运行时选项在运行时覆盖。

令牌限制参数：模型特定用法

OpenAI 提供两个互斥参数来控制令牌生成限制：

参数使用场景兼容模型
maxTokens非推理模型gpt-4o、gpt-4o-mini、gpt-4-turbo、gpt-3.5-turbo
maxCompletionTokens推理模型o1、o1-mini、o1-preview、o3、o4-mini 系列

这些参数是互斥的。同时设置两者将导致来自 OpenAI 的 API 错误。

使用示例

对于非推理模型（gpt-4o、gpt-3.5-turbo）：

ChatResponse response = chatModel.call(
    new Prompt(
        "Explain quantum computing in simple terms.",
        OpenAiChatOptions.builder()
            .model("gpt-4o")
            .maxTokens(150)  // 非推理模型使用 maxTokens
        .build()
    ));

对于推理模型（o1、o3 系列）：

ChatResponse response = chatModel.call(
    new Prompt(
        "Solve this complex math problem step by step: ...",
        OpenAiChatOptions.builder()
            .model("o1-preview")
            .maxCompletionTokens(1000)  // 推理模型使用 maxCompletionTokens
        .build()
    ));
构建器模式验证：OpenAI ChatOptions 构建器自动强制互斥性，采用"后设置获胜"的方法：
// 这将自动清除 maxTokens 并使用 maxCompletionTokens
OpenAiChatOptions options = OpenAiChatOptions.builder()
    .maxTokens(100)           // 先设置
    .maxCompletionTokens(200) // 这将清除 maxTokens 并记录警告
    .build();

// 结果：maxTokens = null, maxCompletionTokens = 200

运行时选项

OpenAiChatOptions.java 提供模型配置，例如要使用的模型、温度、频率惩罚等。

在启动时，可以使用 OpenAiChatModel(api, options) 构造函数或 spring.ai.openai.chat.options.* 属性配置默认选项。

在运行时，您可以通过向 Prompt 调用添加新的请求特定选项来覆盖默认选项。 例如，要覆盖特定请求的默认模型和温度：

ChatResponse response = chatModel.call(
    new Prompt(
        "Generate the names of 5 famous pirates.",
        OpenAiChatOptions.builder()
            .model("gpt-4o")
            .temperature(0.4)
        .build()
    ));

提示：除了模型特定的 OpenAiChatOptions 外，您还可以使用通过 ChatOptions#builder() 创建的可移植 ChatOptions 实例。

函数调用

您可以使用 OpenAiChatModel 注册自定义 Java 函数，并让 OpenAI 模型智能地选择输出包含调用一个或多个注册函数参数的 JSON 对象。 这是将 LLM 功能与外部工具和 API 连接的强大技术。 阅读更多关于工具调用的信息。

多模态

多模态指模型同时理解和处理来自各种来源（包括文本、图像、音频和其他数据格式）信息的能力。 OpenAI 支持文本、视觉和音频输入模态。

视觉

提供视觉多模态支持的 OpenAI 模型包括 gpt-4、gpt-4o 和 gpt-4o-mini。 有关更多信息，请参阅视觉指南。

OpenAI 用户消息 API 可以在消息中包含 base64 编码的图像列表或图像 URL。 Spring AI 的 Message 接口通过引入 Media 类型促进多模态 AI 模型。 此类型包含消息中媒体附件的数据和详细信息，利用 Spring 的 org.springframework.util.MimeType 和 org.springframework.core.io.Resource 用于原始媒体数据。

以下是从 OpenAiChatModelIT.java 摘录的代码示例，说明使用 gpt-4o 模型的用户文本与图像的融合：

var imageData = new ClassPathResource("/test.png");

var userMessage = UserMessage.builder()
    .text("Explain what do you see on this picture?")
    .media(List.of(new Media(MimeTypeUtils.IMAGE_PNG, imageData)))
    .build();

var response = this.chatModel
    .call(new Prompt(List.of(userMessage), OpenAiChatOptions.builder().model(modelName).build()));

注意：GPT_4_VISION_PREVIEW 将从 2024 年 6 月 17 日开始仅对该模型的现有用户可用。如果您不是现有用户，请使用 GPT_4_O 或 GPT_4_TURBO 模型。更多详情

或者使用 gpt-4o 模型的图像 URL 等价形式：

var userMessage = UserMessage.builder()
    .text("Explain what do you see on this picture?")
    .media(List.of(Media.builder()
        .mimeType(MimeTypeUtils.IMAGE_PNG)
        .data(URI.create("https://docs.spring.io/spring-ai/reference/_images/multimodal.test.png"))
        .build()))
    .build();

ChatResponse response = this.chatModel
    .call(new Prompt(List.of(userMessage), OpenAiChatOptions.builder().model(modelName).build()));

您也可以传递多个图像。

该示例显示模型将 multimodal.test.png 图像作为输入：

多模态测试图像

以及文本消息 "Explain what do you see on this picture?"，并生成如下响应：

这是一个具有简单设计的水果碗图像。碗由金属制成，具有弯曲的线材边缘，
创造出开放结构，使水果从所有角度都可见。碗内，有两个
黄色香蕉放在似乎是红苹果的东西上面。香蕉略微过熟，
正如它们皮上的棕色斑点所示。碗顶部有一个金属环，可能作为手柄
用于携带。碗放置在平坦的表面上，中性色的背景提供了对
内部水果的清晰视图。

音频

提供输入音频多模态支持的 OpenAI 模型包括 gpt-4o-audio-preview。 有关更多信息，请参阅音频指南。

OpenAI 用户消息 API 可以在消息中包含 base64 编码的音频文件列表。 Spring AI 的 Message 接口通过引入 Media 类型促进多模态 AI 模型。 此类型包含消息中媒体附件的数据和详细信息，利用 Spring 的 org.springframework.util.MimeType 和 org.springframework.core.io.Resource 用于原始媒体数据。 目前，OpenAI 仅支持以下媒体类型：audio/mp3 和 audio/wav。

以下是从 OpenAiChatModelIT.java 摘录的代码示例，说明使用 gpt-4o-audio-preview 模型的用户文本与音频文件的融合：

var audioResource = new ClassPathResource("speech1.mp3");

var userMessage = new UserMessage("What is this recording about?",
        List.of(new Media(MimeTypeUtils.parseMimeType("audio/mp3"), audioResource)));

ChatResponse response = chatModel.call(new Prompt(List.of(userMessage),
        OpenAiChatOptions.builder().model(OpenAiApi.ChatModel.GPT_4_O_AUDIO_PREVIEW).build()));

您也可以传递多个音频文件。

输出音频

提供输入音频多模态支持的 OpenAI 模型包括 gpt-4o-audio-preview。 有关更多信息，请参阅音频指南。

OpenAI 助手消息 API 可以在消息中包含 base64 编码的音频文件列表。 Spring AI 的 Message 接口通过引入 Media 类型促进多模态 AI 模型。 此类型包含消息中媒体附件的数据和详细信息，利用 Spring 的 org.springframework.util.MimeType 和 org.springframework.core.io.Resource 用于原始媒体数据。 目前，OpenAI 仅支持以下音频类型：audio/mp3 和 audio/wav。

以下是一个代码示例，说明使用 gpt-4o-audio-preview 模型的用户文本响应以及音频字节数组：

var userMessage = new UserMessage("Tell me joke about Spring Framework");

ChatResponse response = chatModel.call(new Prompt(List.of(userMessage),
        OpenAiChatOptions.builder()
            .model(OpenAiApi.ChatModel.GPT_4_O_AUDIO_PREVIEW)
            .outputModalities(List.of("text", "audio"))
            .outputAudio(new AudioParameters(Voice.ALLOY, AudioResponseFormat.WAV))
            .build()));

String text = response.getResult().getOutput().getContent(); // 音频转录

byte[] waveAudio = response.getResult().getOutput().getMedia().get(0).getDataAsByteArray(); // 音频数据

您必须在 OpenAiChatOptions 中指定音频模态以生成音频输出。 AudioParameters 类提供音频输出的语音和音频格式。

结构化输出

OpenAI 提供自定义结构化输出 API，确保您的模型生成严格符合您提供的 JSON 模式的响应。 除了现有的 Spring AI 模型无关结构化输出转换器外，这些 API 提供了增强的控制和精度。

目前，OpenAI 支持 JSON 模式语言格式的子集。

配置

Spring AI 允许您使用 OpenAiChatOptions 构建器以编程方式或通过应用程序属性配置您的响应格式。

使用聊天选项构建器

您可以使用 OpenAiChatOptions 构建器以编程方式设置响应格式，如下所示：

String jsonSchema = """
        {
            "type": "object",
            "properties": {
                "steps": {
                    "type": "array",
                    "items": {
                        "type": "object",
                        "properties": {
                            "explanation": { "type": "string" },
                            "output": { "type": "string" }
                        },
                        "required": ["explanation", "output"],
                        "additionalProperties": false
                    }
                },
                "final_answer": { "type": "string" }
            },
            "required": ["steps", "final_answer"],
            "additionalProperties": false
        }
        """;

Prompt prompt = new Prompt("how can I solve 8x + 7 = -23",
        OpenAiChatOptions.builder()
            .model(ChatModel.GPT_4_O_MINI)
            .responseFormat(new ResponseFormat(ResponseFormat.Type.JSON_SCHEMA, this.jsonSchema))
            .build());

ChatResponse response = this.openAiChatModel.call(this.prompt);

重要：请遵守 OpenAI JSON 模式语言格式的子集。

与 BeanOutputConverter 工具集成

您可以利用现有的 BeanOutputConverter 工具自动从您的域对象生成 JSON 模式，然后并将结构化响应转换为特定于域的实例：

Java:

public record MathReasoning(
    @JsonProperty("steps") Steps steps,
    @JsonProperty("final_answer") String finalAnswer) {

    public record Steps(@JsonProperty("items") List<StepItem> items) {
        public record StepItem(
            @JsonProperty("explanation") String explanation,
            @JsonProperty("output") String output) {
        }
    }
}

var outputConverter = new BeanOutputConverter(MathReasoning.class);

var jsonSchema = outputConverter.jsonSchema();

var prompt = new Prompt("how can I solve 8x + 7 = -23",
    OpenAiChatOptions.builder()
        .model(ChatModel.GPT_4_O_MINI)
        .responseFormat(ResponseFormat(ResponseFormat.Type.JSON_SCHEMA, jsonSchema))
        .build());

var response = openAiChatModel.call(prompt);
var content = response.getResult().getOutput().getContent();

var mathReasoning = outputConverter.convert(content);

Kotlin:

data class MathReasoning(
    val steps: Steps,
    @get:JsonProperty(value = "final_answer") val finalAnswer: String) {

    data class Steps(val items: Array<Items>) {
        data class Items(
            val explanation: String,
            val output: String)
    }
}

val outputConverter = BeanOutputConverter(MathReasoning::class.java)

val jsonSchema = outputConverter.jsonSchema;

val prompt = Prompt("how can I solve 8x + 7 = -23",
    OpenAiChatOptions.builder()
        .model(ChatModel.GPT_4_O_MINI)
        .responseFormat(ResponseFormat(ResponseFormat.Type.JSON_SCHEMA, jsonSchema))
        .build())

val response = openAiChatModel.call(prompt)
val content = response.getResult().getOutput().getContent()

val mathReasoning = outputConverter.convert(content)

注意：虽然这对于 JSON 模式是可选的，但 OpenAI 要求结构化响应的字段为必填字段才能正常工作。Kotlin 反射用于根据类型的可空性和参数的默认值推断哪些属性是必需的，因此对于大多数用例，@get:JsonProperty(required = true) 不是必需的。@get:JsonProperty(value = "custom_name") 可以用于自定义属性名称。确保使用此 @get: 语法在相关的 getter 上生成注释，请参阅相关文档。

通过应用程序属性配置

或者，使用 OpenAI 自动配置时，您可以通过以下应用程序属性配置所需的响应格式：

spring.ai.openai.api-key=YOUR_API_KEY
spring.ai.openai.chat.options.model=gpt-4o-mini

spring.ai.openai.chat.options.response-format.type=JSON_SCHEMA
spring.ai.openai.chat.options.response-format.name=MySchemaName
spring.ai.openai.chat.options.response-format.schema={"type":"object","properties":{"steps":{"type":"array","items":{"type":"object","properties":{"explanation":{"type":"string"},"output":{"type":"string"}},"required":["explanation","output"],"additionalProperties":false}},"final_answer":{"type":"string"}},"required":["steps","final_answer"],"additionalProperties":false}
spring.ai.openai.chat.options.response-format.strict=true

示例控制器（自动配置）

创建一个新的 Spring Boot 项目，并将 spring-ai-starter-model-openai 添加到您的 pom（或 gradle）依赖项中。

在 src/main/resources 目录下添加 application.properties 文件，以启用和配置 OpenAI 聊天模型：

spring.ai.openai.api-key=YOUR_API_KEY
spring.ai.openai.chat.options.model=gpt-4o
spring.ai.openai.chat.options.temperature=0.7

提示：请将 api-key 替换为您的 OpenAI 凭据。

这将创建一个可以注入到您的类中的 OpenAiChatModel 实现。 这是一个使用聊天模型进行文本生成的简单 @RestController 类示例。

@RestController
public class ChatController {

    private final OpenAiChatModel chatModel;

    @Autowired
    public ChatController(OpenAiChatModel chatModel) {
        this.chatModel = chatModel;
    }

    @GetMapping("/ai/generate")
    public Map<String,String> generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        return Map.of("generation", this.chatModel.call(message));
    }

    @GetMapping("/ai/generateStream")
	public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        Prompt prompt = new Prompt(new UserMessage(message));
        return this.chatModel.stream(prompt);
    }
}

手动配置

OpenAiChatModel 实现了 ChatModel 和 StreamingChatModel，并使用低级 OpenAiApi 客户端连接到 OpenAI 服务。

将 spring-ai-openai 依赖项添加到您项目的 Maven pom.xml 文件中：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-openai</artifactId>
</dependency>

或者添加到您的 Gradle build.gradle 构建文件中：

dependencies {
    implementation 'org.springframework.ai:spring-ai-openai'
}

提示：请参考依赖管理部分，将 Spring AI BOM 添加到您的构建文件中。

接下来，创建 OpenAiChatModel 并使用它进行文本生成：

var openAiApi = OpenAiApi.builder()
            .apiKey(System.getenv("OPENAI_API_KEY"))
            .build();
var openAiChatOptions = OpenAiChatOptions.builder()
            .model("gpt-3.5-turbo")
            .temperature(0.4)
            .maxTokens(200)
            .build();
var chatModel = new OpenAiChatModel(this.openAiApi, this.openAiChatOptions);

ChatResponse response = this.chatModel.call(
    new Prompt("Generate the names of 5 famous pirates."));

// 或使用流式响应
Flux<ChatResponse> response = this.chatModel.stream(
    new Prompt("Generate the names of 5 famous pirates."));

OpenAiChatOptions 为聊天请求提供配置信息。 OpenAiApi.Builder 和 OpenAiChatOptions.Builder 分别是 API 客户端和聊天配置的流畅选项构建器。

低级 OpenAiApi 客户端

OpenAiApi 提供了一个用于 OpenAI Chat API 的轻量级 Java 客户端。

以下类图表说明了 OpenAiApi 聊天接口和构建块：

这是一个显示如何以编程方式使用 API 的简单片段：

OpenAiApi openAiApi = OpenAiApi.builder()
            .apiKey(System.getenv("OPENAI_API_KEY"))
            .build();

ChatCompletionMessage chatCompletionMessage =
    new ChatCompletionMessage("Hello world", Role.USER);

// 同步请求
ResponseEntity<ChatCompletion> response = this.openAiApi.chatCompletionEntity(
    new ChatCompletionRequest(List.of(this.chatCompletionMessage), "gpt-3.5-turbo", 0.8, false));

// 流式请求
Flux<ChatCompletionChunk> streamResponse = this.openAiApi.chatCompletionStream(
        new ChatCompletionRequest(List.of(this.chatCompletionMessage), "gpt-3.5-turbo", 0.8, true));

请遵循 OpenAiApi.java 的 JavaDoc 获取更多信息。

低级 API 示例

API 密钥管理

Spring AI 通过 ApiKey 接口及其实现提供灵活的 API 密钥管理。默认实现 SimpleApiKey 适用于大多数用例，但您也可以为更复杂的场景创建自定义实现。

默认配置

默认情况下，Spring Boot 自动配置将使用 spring.ai.openai.api-key 属性创建 API 密钥 bean：

spring.ai.openai.api-key=your-api-key-here
自定义 API 密钥配置

您可以使用构建器模式使用您自己的 ApiKey 实现创建 OpenAiApi 的自定义实例：

ApiKey customApiKey = new ApiKey() {
    @Override
    public String getValue() {
        // 检索 API 密钥的自定义逻辑
        return "your-api-key-here";
    }
};

OpenAiApi openAiApi = OpenAiApi.builder()
    .apiKey(customApiKey)
    .build();

// 使用自定义 OpenAiApi 实例创建聊天模型
OpenAiChatModel chatModel = OpenAiChatModel.builder()
    .openAiApi(openAiApi)
    .build();
// 使用自定义聊天模型构建 ChatClient
ChatClient openAiChatClient = ChatClient.builder(chatModel).build();

这在您需要以下情况时很有用：

  • 从安全密钥存储中检索 API 密钥
  • 动态轮换 API 密钥
  • 实现自定义 API 密钥选择逻辑

相关资源

avatar
文章
阅读
粉丝