离线语音不是“断网也能识别”一句话。iPhone 与 Android 的可用设备、语言资源、麦克风权限、后台中断和失败回退都需要独立核对。以下以 RecalAI 和 Lunest 的已有代码为证据,说明哪些能力已实现、哪些只是候选,避免把厂商宣传的性能当成我们的实测。
手机离线语音识别真的能在断网状态下使用吗?Google AI Edge 离线语音是否适合普通 Android 与 iPhone App?如果一款 App 声称“完全离线语音交互”,用户首先关心的不是它使用了哪个模型,而是:关掉网络还能不能听懂中文?第一次安装是否需要下载语音资源?iPhone 和千元 Android 机是否都有同样的功能?电话打进来、切到后台、手机发热或识别出错时,刚说过的话会不会丢失?这些问题决定了语音能力能否成为可信的产品功能,而不是一段演示视频。
Google 在 2026 年 11 月 10 日向 AI Edge Gallery 引入端侧 ASR(Automatic Speech Recognition,语音识别)与 TTS(Text-to-Speech,语音合成)能力,包含 Android ML Kit 集成和 MediaPipe/LiteRT 的开放模型路线。公告展示了较高的识别和合成吞吐表现,但那些数字属于 Google 在特定条件下提供的厂商结果,不能直接换算为普通 iPhone、中文语音、后台运行或多任务状态的表现。Google Developers Blog
本文不复述安装步骤,也不把 RecalAI 现有的系统端侧语音能力冒充成刚发布的 Google ML Kit GenAI ASR/TTS:项目仓库已经有真实实现,但上述新 SDK 仍属于独立的待验证升级路线。我们从这两个有明确产品边界的场景出发,建立适合真实工程决策的能力矩阵、生命周期设计和验收规则;现有项目目标、Google/Apple 官方接口与尚待真实设备验证的设计假设将分别标注。
两个产品需要的其实不是同一条语音链路
RecalAI 是个人资料与本地 AI 知识库场景。 核心价值是从用户自己的文档中找到有出处的证据,再回答问题。语音在这里是一个输入和可选输出界面,而不是替代检索与引用。合理的候选链路是“用户按下麦克风 → 本地识别为文字 → 用户确认或编辑 → 既有 FTS/向量检索与证据选择 → 本地回答与引用 → 可选 TTS”。已有 RecalAI 混合检索文章讨论了精确检索、加权融合、证据预算和引用校验:RecalAI 混合检索工程实践。语音不应绕开这些约束。
例如用户说“帮我找去年那份关于备份加密的决策”,ASR 将“加密”误听成“解密”会改变任务含义。若把尚会修正的 partial transcription 直接提交检索,可能触发数次相互矛盾的查询,最终造成错误引用。更稳妥的工程方案是 partial 只更新输入框,识别器给出 final 后仍允许人工修订,再用确定的文本启动检索;对否定词、专有名词和日期应增加回读或确认策略。这里是建议的状态设计,并非已在 RecalAI 真机验证的现有行为。
Lunest 是睡眠检测和音景播放场景。 用户想要的是整夜稳定播放、可靠的后台中断恢复、可解释的睡眠结果,而不是“睡着后也能被 ASR 一直听写”。如果把整夜麦克风流持续送入通用语音识别器,会产生没有必要的录音权限、耗电、隐私和后台资源风险,也不能因为它能识别语音,就把识别文字等同于打鼾检测、睡眠分期或智能唤醒的证据。
因此,Lunest 的合理候选是有明确前台交互的一小段语音指令或可选语音反馈;整夜睡眠检测仍由独立的传感器、音频事件模型和经过验证的融合算法负责。打断恢复必须先保护播放会话,再决定要不要恢复临时语音任务。这里同样是边界设计,不宣称产品已具备该语音指令功能。
这一区分是本文的核心结论:ASR/TTS 是否有价值,不取决于模型宣传的多语种数量,而取决于它进入产品后能否维持原来最重要的正确性和隐私承诺。
先看我们的代码:语音不是从零开始做
这项研究不是看到 Google 新公告后临时虚构的 App 需求。检查 RecalAI 和 Lunest 的现有工程,确实已经有多条与语音、文本证据和后台音频相关的产品链路;区别在于,系统接口已有实现,并不等于 Google 新推出的 ML Kit GenAI Speech API 已接入。
| 项目与平台 | 仓库中能确认的实现 | 我们仍然不据此声称的结果 |
|---|---|---|
| RecalAI iOS/iPadOS | PMSpeechInputController 请求麦克风与语音识别授权,检查 supportsOnDeviceRecognition,并将 requiresOnDeviceRecognition 设为 true;不可用时明确退出,不静默调用网络识别 | 尚无各语言、各机型的实际准确率、耗电与断网回归表 |
| RecalAI iOS 媒体导入 | PMOnDeviceMediaTranscriber 对音视频按约 50 秒分段,采用端侧 SFSpeechURLRecognitionRequest,以文件指纹和语言管理受保护的转写检查点 | 有带时间定位的分段转写,不等于完成逐词时间轴或多语种统一评测 |
| RecalAI Android | OnDeviceVoiceInput 使用 createOnDeviceSpeechRecognizer,不创建普通网络识别器;媒体转写对 Android 13+ 和本地识别能力做门槛检查,分段处理音频 | 尚未因此接入 Google 新的 ML Kit GenAI ASR Basic/Advanced |
| RecalAI 朗读 | Android 的 OfflineAnswerReader 从系统 TextToSpeech 中筛出不要求网络、已安装的声音;iOS 的学习卡使用 AVSpeechSynthesizer | 不能把这些实现写成“全端全部语种支持统一 AI Edge TTS” |
| RecalAI macOS | PMMacSpeechInputController 同样检查系统端侧识别可用性,并强制 requiresOnDeviceRecognition | macOS 并非在使用 Android ML Kit |
| Lunest iOS / Android | iOS 已处理 AVAudioSession 中断、线路改变、媒体服务重置;Android SoundPlayer 管理 Audio Focus、暂时失焦与恢复策略;睡眠声学事件和 HealthKit/Health Connect 在本地处理 | 当前没有证据表明 Lunest 已提供通用语音指令 ASR/TTS;“疑似梦话”事件检测不等于梦话内容转文字 |
RecalAI 的原始优势还包括已经存在的本地 FTS/Embedding/RRF 检索与引用校验;引入语音时需要保护这些既有能力,而不是重新设计一套语音专属知识库。更具体的免费与付费层级对比见免费语音与本地 Agent 的代码实践和替代选型;如果要把本地证据交给用户授权的云推理模型,另见Gemini 4 工程路由的权限与成本分析。
现有语音体验能说明什么
图示:开发者主观认为语音识别较准、检索可用,但响应偏慢,尚缺分段实测。
开发者在实际使用中认为 RecalAI 的端侧语音识别准确性较高(主观估计约 99%)、搜索基本可用,但 iPhone 13 上整体响应偏慢。这既不是以统一标注语料计算的 CER,也不是 Google 新版 ML Kit ASR 的实测成绩;因此不能把现有体验套用到新 SDK 的速度或准确率。具体瓶颈拆解、冷/热启动与隐私安全的测量方法,集中在免费端侧语音与本地 Agent 的性能取舍中讨论。
Google AI Edge 的三条路线,不应混为一个 SDK
图示:设备和语言支持必须逐项检查,不能用一个“支持离线”覆盖所有机型。
| 路线 | 官方接口事实(截至 2026-11-17) | 应用中真实的约束 | 项目判断 |
|---|---|---|---|
| Android ML Kit GenAI ASR Basic | genai-speech-recognition:1.0.0-alpha2;依赖的应用 minSdk 26,但 Basic 运行时要求 Android API 31+;含简体中文 Beta | 低于 API 31 或语言模型不可用时不可承诺同等功能;Beta 需测中文 CER | RecalAI Android 可优先验证,不能覆盖所有 Android |
| Android ML Kit GenAI ASR Advanced | 基于受支持设备上的 GenAI/AICore;Pixel 10/11 系列及文档列明的特定芯片设备 | 不能推断任何装有 Google 服务的手机都可运行;需要 feature status 和模型准备状态 | 只作为设备分层能力,不能作为唯一实现 |
| Android ML Kit GenAI TTS | genai-text-to-speech:1.0.0-alpha1,限官方列出的 Pixel、Samsung 机型;应用 minSdk 26 | 官方当前语言列表不含中文;需 checkStatus(),语音可能还未下载 | 英文等支持语言可验证;中文需独立方案/降级 |
| MediaPipe Tasks / LiteRT 语音模型 | Google 提供跨平台开放模型示例和 .litertlm 封装路径 | 展示应用可跑,不等于同款模型可直接嵌入任意 iOS App;模型/算子/ABI/版权/内存必须逐项验证 | 用于研究跨平台一致性,但不能直接宣称 iPhone 13 兼容 |
| Apple Speech + AVSpeechSynthesizer | iOS 原生识别/朗读接口;supportsOnDeviceRecognition 与 requiresOnDeviceRecognition 控制端侧识别条件 | 可用性因设备、语言、系统资源而异;录音/语音识别权限与音频会话必须正常管理 | RecalAI iOS 的首选能力探测与回退基线 |
ML Kit ASR 文档明确区分输入麦克风、现有音频文件、ParcelFileDescriptor 流;自定义原始流要求 16 kHz、16-bit、单声道 PCM。流式 word timing 也有作用域:官方描述仅在 streaming 音源上支持,不能把静态文件模式当成同等逐词时间轴。识别结果存在 partial 与 final 两种语义,稳定提交不能依靠“每来一条文本就保存一次”。ML Kit ASR 文档
ML Kit GenAI TTS 官方 Alpha 列出的语言包括英语、日语、韩语等,但当前不包含简体/繁体中文,即使官网展示了多语种语音案例,也不能据此声称该 Android API 已支持本地中文朗读。设备不支持、Google TTS 系统组件缺失、语音包待下载均可能导致功能不可用;Android 标准 TextToSpeech 是待验证的回退候选,但它的具体语音包是否可离线工作仍须逐机确认。ML Kit TTS 文档
在 iOS 端,SFSpeechRecognizer.supportsOnDeviceRecognition 必须为真,识别请求设置 requiresOnDeviceRecognition 才能把“仅本机处理”作为硬约束;不满足就应停止此路径或明确征求用户选择,不能静默回退到网络识别。原生 TTS AVSpeechSynthesizer 能提供语音播放和暂停/中断控制,但具体所选声音是否预装、语言是否可用以及断网下的表现仍需实测。Apple Speech · Apple 识别请求约束
RecalAI:已有语音入口如何进入知识库,仍不得牺牲来源可信性
图示:已有系统语音代码与新 Google ASR/TTS SDK 是两条不同的实现路径。
端侧知识库最大的风险不是“听不懂”,而是听错之后给出一个看似有出处的答案。设计应把语音入口与检索引擎解耦,每层定义可审计的输入输出和退出条件:
| 层级 | 输入/输出契约 | 不应发生的行为 |
|---|---|---|
| 权限与捕获 | 仅用户明确操作时开启麦克风;录制范围、用途可理解 | App 一启动就申请权限,后台持续监听 |
| 识别器适配 | 以 locale / device / offline capability 选择路径;明确 UNAVAILABLE / DOWNLOADING / READY | 设备不支持时偷偷调用云端 |
| 暂态缓冲 | partial 只用于预览,final 才形成候选问题;保留 segment_id 和时间顺序 | partial 每次更新都入库或发起问答 |
| 询问确认 | 展示可编辑转写,遇到否定、金额、日期等敏感词可提示核对 | 把不确定转写当成用户授权操作 |
| 检索与引用 | 继续运行既有 FTS、向量检索与证据选择,引用指向本地片段 | 语音模型产出的文本替代原始文档证据 |
| 回答及朗读 | TTS 只朗读已完成且允许展示的答案;朗读中能暂停 | 未校验引用就开始朗读不确定结论 |
对 RecalAI 来说,最小可用的离线语音并不要求一次性部署 ASR + LLM + TTS 三个新模型。在 iPhone 13(A15/4 GB)这一低内存基线,峰值 RSS、模型加载时延、后台回收和与已有本地 LLM 的竞争,通常比宣传的模型参数量更决定体验。优先在可用的系统 ASR 上验证准确性,再决定是否承担第二套声学模型及 TTS 的常驻代价;App 已在使用的本地检索功能不能因为语音任务被挤出内存。这是测试决策次序,不是实测内存数值。
还要把语音数据生命周期写清楚:原始 PCM 默认只在 RAM 临时驻留,识别完成后释放;如果用户明确选择把语音原文加入资料库,才进入本地持久存储流程。日志只记录状态、语言、设备、延迟、失败码和非敏感计数;不记录用户说过的话、知识库片段或 API Key。云端第三方模型只能在用户主动配置、选择并知道数据将离开设备时启用,不能作为“离线失败”的隐藏兜底。
Lunest:睡眠音频与语音交互的竞争,比模型识别率更致命
图示:睡眠声学检测不等于梦话转写,用户私有数据不应静默上传。
睡眠 App 的主要资源是长时稳定播放和监测。短语音输入即使只运行十几秒,也可能抢占麦克风、重配 AVAudioSession、改变 Android 音频焦点,或与播放解码竞争内存。真正的风险场景至少包括:
- 用户在播放音景时说“把声音小一点”,语音识别启动导致正在播放的流被意外暂停;
- 通话、闹钟、耳机断连或者蓝牙路由切换后,播放状态与语音任务状态不同步;
- 设备锁屏、进入省电状态时,临时语音链路仍占资源,影响原本的整夜运行;
- ASR 误把音景中的人声、播客或环境声音识别为指令,造成未经用户确认的操作。
因此建议将产品级状态机分成 SLEEP_SESSION、PLAYBACK、VOICE_INTERACTION 三条独立通道。语音交互必须是显式、短时、可取消的会话;它只发出经过验证的候选控制指令,真正的播放操作由已存在的播放控制器执行。语音失败不得重置睡眠记录、改变唤醒策略或者清除原有播放队列。
对于“识别后自动降低音量”一类控制,语音文本还要经过意图限制、置信度/冲突判别与权限验证;不能使用开放式语言模型直接控制后台长期状态。Lunest 的睡眠分析与智能唤醒仍需独立指标和真机整夜验收,通用 ASR 不能代替睡眠算法。
模型选型不如验收输入和退出条件具体
图示:无法明确本地识别资格时,必须提供可理解的退出和回退路径。
Google 展示的 Parakeet-TDT、PocketTTS、Kokoro 等开放模型与 Android 系统能力并非同一产品面。对开发者真正有用的比较不应是“哪个跑分更好”,而应该至少固定如下表:
| 验收维度 | RecalAI 应记录 | Lunest 应记录 | 失败判定 |
|---|---|---|---|
| 真实设备 | iPhone 13、目标 Android 机型、OS、语言、安装状态 | 同时记耳机/蓝牙/电话状态 | 型号不支持必须明示,不能计为算法错误 |
| 正确性 | 中文 CER、否定/数字/专有名词、partial 修订次数 | 指令误触发率与拒绝率 | 误执行危险/非授权操作为不通过 |
| 首次体验 | 资源预装/下载与首次可用时间 | 不影响原有播放开始时间 | 必须联网下载却标为完全离线 |
| 性能与稳定性 | first partial/final latency、峰值 RAM、内存压力、温升 | 音频焦点、播放不中断、后台恢复 | 任何语音事件破坏既有主功能 |
| 数据边界 | 网络断开后的转写成功率;日志不含原文 | 不把整夜环境声音上传/持久化 | 静默联网/录音或无授权上传 |
| 恢复能力 | 取消、来电、权限撤回后资源释放 | 打断后恢复既有音景及进度 | 状态丢失、重复指令、无法停止 |
CER 应以固定的人工校对转写为真值:CER=(替换字数+删除字数+插入字数)/参考文本字符数。需按普通话、英文夹杂、数字、地名、噪声和语速分层报告,并公开样本数量与置信区间;不能只挑一段成功演示。TTS 则独立考察首音时间(TTFA)、播放完整率、可理解度和听感,不拿 ASR 的错误率代替 TTS 质量。所有延迟、耗电和内存的数字目前仍属于 PENDING_DEVICE_TEST,本文不填写虚构数值。
一个可执行的对照实验应至少包含“无网络、模型未下载、权限拒绝、来电中断、蓝牙切换、长文本/混合语言、低内存压力、正常恢复”八类情境;同一输入录音固定哈希,并记录 SDK/模型构建号、设备系统版本、实际执行模式与失败栈。需要真机才能完成的部分,不应由云端 Demo 或模拟器成功替代。
图示:这是待执行的测试协议,并非 RecalAI、Lunest 或 Google 新语音 SDK 的实测成绩。
可收费的云语音与付费 Gemini:两种不同的升级路线
当 Android 机型不支持目标 ASR 模式,或 iPhone 对特定语言无法强制端侧识别时,首先是显示该能力不可用,保留文字输入和已完成的本地状态。如果产品允许可选云语音,用户需要主动选择上传短录音;此时可评估按音频处理量计费的 Google Cloud Speech-to-Text,以及按语音种类、字符或生成式 Token 分别定价的 Google Cloud Text-to-Speech。这些是独立于 Gemini 4 推理 API的服务,不能认为 Hydrogen 的免费额度自动覆盖云 ASR/TTS。
对 RecalAI,真正值得支付的节点未必是识别语音,也可能是用户主动授权后的复杂摘要与 Agent 推理。对 Lunest,付费云语音也不能消除背景音频中断、权限与隐私问题,尤其不能把整夜麦克风流作为默认输入。关于完整免费/自备模型与可选付费语音之间的逐层对应,见不付 API 费的离线语音与本地 Agent 方案;仅需判断云模型开发工作流的分工和单任务成本,再读Gemini 4 Hydrogen、Argon、Carbon 的工程路由。
是否收费?SDK 免费不等于产品没有成本
Google 官方将 ML Kit 定义为免费移动 SDK,GenAI 端侧调用不会按请求额外产生云 API 费用。MediaPipe/LiteRT 和开放权重模型也可以做到零云端语音调用费用,但仍需逐项确认模型许可、分发体积、初次资源下载、设备耗电、维护和真机兼容。尤其不能把少量支持机型上的 Android GenAI TTS 等同于全平台、中文通用的永久免费语音服务。参见 ML Kit 官方免费说明 与 ML Kit GenAI 本地调用边界。
结论:端侧语音要优先保住产品原本的承诺
对于 RecalAI,合格的语音能力应让用户更容易提问并得到有来源的本地回答;对于 Lunest,它应该让用户更方便地控制音景,却绝不牺牲整夜播放、睡眠隐私和恢复可靠性。Android ML Kit 能降低一部分机型的接入成本,MediaPipe/LiteRT 为跨平台开放模型提供候选路径,Apple 原生接口提供 iOS 的能力基线;这些路径并非完全可互换。
可做的决定已经明确:先做设备/语言能力探测和可重复验证,再决定在哪个端、哪个用户场景开启 ASR/TTS;没有足够证据,不将“完全离线、所有手机、中文语音、实时低功耗”写成同一个产品承诺。 这比再发布一份模型排行榜更接近实际工程。
案例产品目前仍在开发
本文的实践案例来自 XBSTACK 旗下尚未正式上架的应用:本地个人知识项目 RecalAI 的现有产品介绍页使用 Recalia 名称,睡眠与音景应用见 Lunest 产品介绍。这两个页面目前只供了解项目定位及进展,不代表 App Store 或 Google Play 已开放下载;本文中“已有实现”指仓库中的具体代码路径,不等于正式发布或全机型测试完成。
资料与证据边界
- Google AI Edge Team,2026-11-10:On-Device Speech Recognition and Text-to-Speech in Google AI Edge Gallery。
- Google ML Kit:GenAI Speech Recognition API(Alpha);GenAI Text-to-Speech API(Alpha)。
- Apple Developer:SFSpeechRecognizer 端侧支持;requiresOnDeviceRecognition;AVSpeechSynthesizer。
- XBSTACK 的 RecalAI 产品背景见已有混合检索文章。本篇的 ASR/TTS 适配是设计讨论,不是 RecalAI/Lunest 新功能已交付、模型跑分或真机测试报告。
进一步阅读:零云 API 费用究竟换来了什么
真正免费的不是“模型越多越好”,而是用系统本机语音、必要的本地小模型与现有检索和播放机制,保住原来的产品体验。具体取舍单独放在不付 AI API 费用,能做好离线语音与本地 Agent 吗?中,那里比较中文语音、模型许可证、iPhone 13 内存和长期维护代价;这里继续聚焦 Google AI Edge 的 SDK 和设备资格。如果项目确实需要收费的远端模型处理复杂工程任务,可另看Gemini 4 三模型的 Agent 路由和成本判断。
原文与证据边界: 本文基于已公开官方资料和代码现状整理;未完成的设备/模型标准化测试均明确标注,不将 GPT 信息图视为实测截图。
完整中英文原文、引用与图表: www.xbstack.com/ai/offline-…
相关阅读: