Moonshine – 颠覆性实时语音识别，低延时高准确，完胜 Whisper！

蚝油菜花
207 阅读3分钟

❤️ 如果你也关注大模型与 AI 的发展现状，且对大模型应用开发非常感兴趣，我会快速跟你分享最新的感兴趣的 AI 应用和热点信息，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

  1. Moonshine 是专为资源受限设备优化的语音识别模型，提供实时语音转文本服务。
  2. 在多个标准数据集上，Moonshine 展现出比 Whisper 模型更低的词错误率。
  3. Moonshine 的计算需求与音频长度成比例，处理短音频速度显著提升。

正文（附运行示例）

Moonshine 是什么

moonshine.png

Moonshine 是专为资源受限设备优化的语音识别模型，提供快速且准确的实时语音转文本服务。适于需要即时响应的应用场景，例如现场转录和语音命令识别。Moonshine 基于先进的编码器-解码器架构和旋转位置嵌入技术，提高模型在处理不同长度音频输入时的效率。

与 OpenAI 的 Whisper 模型相比，Moonshine 在多个标准数据集上展现出更低的词错误率，且计算需求与音频长度成比例，让短音频的处理速度显著提升。Moonshine 非常适合在边缘设备上部署，为实时语音识别应用提供新的解决方案。

Moonshine 的主要功能

  • 实时转录：Moonshine 能实时将语音转换成文本，适用于会议、演讲等现场转录场景。
  • 语音命令处理：适于智能设备和可穿戴设备，能够快速识别并响应用户的语音指令。
  • 低延迟：针对设备端应用优化，用最小的延迟提供准确的语音识别结果。
  • 资源高效：特别为资源受限的环境设计，能在低成本硬件上运行，如 ARM 处理器。
  • 高准确率：在标准数据集上展现出比同类 Whisper 模型更低的词错误率（WER）。

Moonshine 的技术原理

  • 编码器-解码器架构：Moonshine 基于变换器（Transformer）模型，用编码器处理输入的语音信号，解码器生成文本输出。
  • 旋转位置嵌入（RoPE）：与传统的绝对位置嵌入不同，Moonshine 用 RoPE 捕捉序列中元素的位置关系，有助于模型更好地理解语音信号的时间结构。
  • 可变长度处理：Moonshine 的编码器能处理不同长度的语音片段，无需零填充，减少不必要的计算开销，提高处理效率。
  • 高效计算：Moonshine 的计算需求与输入音频的长度成比例，在处理较短音频时比固定长度处理的模型更快。
  • 大规模训练：Moonshine 在大量的公开 ASR 数据集和内部准备的数据上进行训练，用先进的数据增强和预处理技术，提高模型的泛化能力。

如何运行 Moonshine

1. 创建虚拟环境

首先，安装uv用于 Python 环境管理：

uv venv env_moonshine
source env_moonshine/bin/activate

2. 安装 Moonshine 包

Moonshine 的推理代码用 Keras 编写，支持 Torch、TensorFlow 和 JAX 后端。以下为安装 Torch 后端的示例：

uv pip install useful-moonshine@git+https://github.com/usefulsensors/moonshine.git
export KERAS_BACKEND=torch

若使用 TensorFlow 后端：

uv pip install useful-moonshine[tensorflow]@git+https://github.com/usefulsensors/moonshine.git
export KERAS_BACKEND=tensorflow

若使用 JAX 后端：

uv pip install useful-moonshine[jax]@git+https://github.com/usefulsensors/moonshine.git
export KERAS_BACKEND=jax

3. 测试 Moonshine

使用.transcribe函数转录示例音频文件：

import moonshine
print(moonshine.transcribe(moonshine.ASSETS_DIR / 'beckett.wav', 'moonshine/tiny'))

第一个参数为音频文件路径，第二个参数为 Moonshine 模型名称，目前可用模型有moonshine/tiny和moonshine/base。

资源

❤️ 如果你也关注大模型与 AI 的发展现状，且对大模型应用开发非常感兴趣，我会快速跟你分享最新的感兴趣的 AI 应用和热点信息，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

avatar
文章
阅读
粉丝