6.4 OpenAI 文本转语音 (TTS)

吴祖贤
90 阅读4分钟

OpenAI 文本转语音 (TTS)

介绍

音频 API 提供了基于 OpenAI 的 TTS（文本转语音）模型的语音端点，使用户能够：

  • 为书面博客文章进行旁白
  • 生成多种语言的口语音频
  • 使用流式传输提供实时音频输出

前提条件

  1. 创建 OpenAI 账户并获取 API 密钥。您可以在 OpenAI 注册页面 注册，并在 API 密钥页面 生成 API 密钥。

  2. 将 spring-ai-openai 依赖项添加到项目的构建文件中。有关更多信息，请参阅依赖管理部分。

自动配置

注意：Spring AI 自动配置和启动器模块的工件名称发生了重大变化。请参阅升级说明了解更多信息。

Spring AI 为 OpenAI 文本转语音客户端提供 Spring Boot 自动配置。要启用它，请将以下依赖项添加到项目的 Maven pom.xml 文件中：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>

或添加到您的 Gradle build.gradle 构建文件中：

dependencies {
    implementation 'org.springframework.ai:spring-ai-starter-model-openai'
}

提示：请参阅依赖管理部分，将 Spring AI BOM 添加到您的构建文件中。

语音属性

连接属性

前缀 spring.ai.openai 用作让您连接到 OpenAI 的属性前缀。

属性描述默认值
spring.ai.openai.base-url要连接的 URLapi.openai.com
spring.ai.openai.api-keyAPI 密钥-
spring.ai.openai.organization-id可选地，您可以指定用于 API 请求的组织-
spring.ai.openai.project-id可选地，您可以指定用于 API 请求的项目-

提示：对于属于多个组织的用户（或通过其传统用户 API 密钥访问其项目的用户），您可以选择指定用于 API 请求的组织和项目。来自这些 API 请求的使用将计为指定组织和项目的使用量。

配置属性

注意：音频语音自动配置的启用和禁用现在通过前缀为 spring.ai.model.audio.speech 的顶级属性进行配置。

要启用：spring.ai.model.audio.speech=openai（默认启用）

要禁用：spring.ai.model.audio.speech=none（或任何与 openai 不匹配的值）

此更改旨在允许多个模型的配置。

前缀 spring.ai.openai.audio.speech 用作让您配置 OpenAI 文本转语音客户端的属性前缀。

属性描述默认值
spring.ai.model.audio.speech启用音频语音模型openai
spring.ai.openai.audio.speech.base-url要连接的 URLapi.openai.com
spring.ai.openai.audio.speech.api-keyAPI 密钥-
spring.ai.openai.audio.speech.organization-id可选地，您可以指定用于 API 请求的组织-
spring.ai.openai.audio.speech.project-id可选地，您可以指定用于 API 请求的项目-
spring.ai.openai.audio.speech.options.model用于生成音频的模型 ID。对于 OpenAI 的 TTS API，使用可用模型之一：tts-1 或 tts-1-hdtts-1
spring.ai.openai.audio.speech.options.voice用于合成的声音。对于 OpenAI 的 TTS API，选择模型可用声音之一：alloy、echo、fable、onyx、nova 和 shimmeralloy
spring.ai.openai.audio.speech.options.response-format音频输出的格式。支持的格式为 mp3、opus、aac、flac、wav 和 pcmmp3
spring.ai.openai.audio.speech.options.speed语音合成的速度。可接受的范围是从 0.25（最慢）到 4.0（最快）1.0

注意：您可以覆盖通用的 spring.ai.openai.base-url、spring.ai.openai.api-key、spring.ai.openai.organization-id 和 spring.ai.openai.project-id 属性。如果设置了 spring.ai.openai.audio.speech.base-url、spring.ai.openai.audio.speech.api-key、spring.ai.openai.audio.speech.organization-id 和 spring.ai.openai.audio.speech.project-id 属性，它们将优先于通用属性。如果您想为不同的模型和不同的模型端点使用不同的 OpenAI 账户，这很有用。

提示：所有以 spring.ai.openai.image.options 为前缀的属性都可以在运行时覆盖。

运行时选项

OpenAiAudioSpeechOptions 类提供在进行文本转语音请求时要使用的选项。在启动时，使用由 spring.ai.openai.audio.speech 指定的选项，但您可以在运行时覆盖这些选项。

例如：

OpenAiAudioSpeechOptions speechOptions = OpenAiAudioSpeechOptions.builder()
    .model("tts-1")
    .voice(OpenAiAudioApi.SpeechRequest.Voice.ALLOY)
    .responseFormat(OpenAiAudioApi.SpeechRequest.AudioResponseFormat.MP3)
    .speed(1.0f)
    .build();

SpeechPrompt speechPrompt = new SpeechPrompt("Hello, this is a text-to-speech example.", speechOptions);
SpeechResponse response = openAiAudioSpeechModel.call(speechPrompt);

手动配置

将 spring-ai-openai 依赖项添加到项目的 Maven pom.xml 文件中：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-openai</artifactId>
</dependency>

或添加到您的 Gradle build.gradle 构建文件中：

dependencies {
    implementation 'org.springframework.ai:spring-ai-openai'
}

提示：请参阅依赖管理部分，将 Spring AI BOM 添加到您的构建文件中。

接下来，创建一个 OpenAiAudioSpeechModel：

var openAiAudioApi = new OpenAiAudioApi()
    .apiKey(System.getenv("OPENAI_API_KEY"))
    .build();

var openAiAudioSpeechModel = new OpenAiAudioSpeechModel(openAiAudioApi);

var speechOptions = OpenAiAudioSpeechOptions.builder()
    .responseFormat(OpenAiAudioApi.SpeechRequest.AudioResponseFormat.MP3)
    .speed(1.0f)
    .model(OpenAiAudioApi.TtsModel.TTS_1.value)
    .build();

var speechPrompt = new SpeechPrompt("Hello, this is a text-to-speech example.", speechOptions);
SpeechResponse response = openAiAudioSpeechModel.call(speechPrompt);

// 访问元数据（速率限制信息）
OpenAiAudioSpeechResponseMetadata metadata = response.getMetadata();

byte[] responseAsBytes = response.getResult().getOutput();

流式实时音频

语音 API 支持使用分块传输编码进行实时音频流式传输。这意味着音频能够在完整文件生成并可访问之前播放。

var openAiAudioApi = new OpenAiAudioApi()
    .apiKey(System.getenv("OPENAI_API_KEY"))
    .build();

var openAiAudioSpeechModel = new OpenAiAudioSpeechModel(openAiAudioApi);

OpenAiAudioSpeechOptions speechOptions = OpenAiAudioSpeechOptions.builder()
    .voice(OpenAiAudioApi.SpeechRequest.Voice.ALLOY)
    .speed(1.0f)
    .responseFormat(OpenAiAudioApi.SpeechRequest.AudioResponseFormat.MP3)
    .model(OpenAiAudioApi.TtsModel.TTS_1.value)
    .build();

SpeechPrompt speechPrompt = new SpeechPrompt("Today is a wonderful day to build something people love!", speechOptions);

Flux<SpeechResponse> responseStream = openAiAudioSpeechModel.stream(speechPrompt);

示例代码

avatar
文章
阅读
粉丝