一个回合最多抢回两次:语音 agent 的音频焦点账本

2 阅读7分钟

一个回合最多抢回两次:语音 agent 的音频焦点账本

Andee 是装在自己 Android 手机上的 agent:没有主界面,一颗球浮在别的 App 上面,靠无障碍服务读屏幕、点按、打字,也靠那只麦克风听你说话。因为他住在设备里,这只麦克风和那个喇叭同时也是来电的、导航的、你刚点开的短视频的。

11 月 3 日,量子位实测的语音 agent Orilo 把"被打断后 1.08 秒重新开口"做成了卖点——Full-Duplex-Bench 里最快,对比 GPT Realtime 1.50 秒、Gemini Live 2.62 秒。这里不讨论那个数字怎么算出来,只拆设备侧的另一半:要让"打断"在一台真手机上成立,得先处理音频焦点的所有权。

**结论先给:**一个真正跑在设备上的语音 agent,不能只有一把音频锁,而要有两把——而且这两把的参数必须相反。因为"被打断"在两个方向上是两件不同的事:说话时它意味着"我让一让没关系",收音时它意味着"我一步不能让"。

代价写在同一份代码里:因为拿不到可靠的回声消除,这个实现放弃了全双工:他能被打断,但不能边听边说。下面是把这件事拆开之后的账。

一、证据:三处调用点,两种取值

AudioFocusGate 只有 145 行,全仓三处调用:

调用点usagegain为什么
TtsControllerUSAGE_ASSISTANTGAIN_TRANSIENT只要盖过媒体,播放器 duck 也能接受——反正没在录音
AsrControllerUSAGE_ASSISTANTGAIN_TRANSIENT_EXCLUSIVEduck 过的音频还在从喇叭漏进麦克风
MeetingRecorder同上同上整场录音,同样不能让

第二行的理由是全篇的支点。AsrController 的注释写得很物理:被压低的声音仍然从喇叭出来,而喇叭离即将打开的麦克风大约一英寸。所以对收音来说,AUDIOFOCUS_GAIN_TRANSIENT 是错的——它允许一个"守规矩"的播放器选择 duck,而 duck 之后音乐还在放,识别还在烂。

同一个 usage,两种 gain,这是第一层结论。

二、实现:一个类、两个重载、一个可幂等的 release

AudioFocusGate 的状态只有三格:

@Volatile private var onLost: (() -> Unit)? = null   // 丢了焦点之后做什么
@Volatile private var held = false                    // 现在是否持有
@Volatile private var decide: ((Int) -> Boolean)? = null  // 这次丢失算不算结束

三种丢失一起处理——LOSS、LOSS_TRANSIENT、LOSS_TRANSIENT_CAN_DUCK。第三种最微妙:系统在问"你要不要自己小点声"。对一条正在输出的语音,这个问题的答案是不商量:半句回答、四分之一音量,不是回答。 请求里打开了 setWillPauseWhenDucked(true),把"要不要降"的决定权要回来自己判。

release() 写成幂等不是洁癖。焦点丢失的回调和控制器自己的收尾是天然并发的两条路径,谁先到就把 onLost 清空,晚到的那条什么都不做。

第二个重载多一个参数:

fun acquire(onLost: () -> Unit, decide: (change: Int) -> Boolean): Boolean

decide 返回 false 表示"这次丢失不算完",回调原样留着等下一次;返回 true 才走 onLost。这个参数只给收音那一侧用,因为只有那一侧会遇到"焦点被抢但仍要继续听"的情况。配套还有一个 retake():拒绝一次丢失之后,主动把焦点再要一遍,让抢走的 App 重新暂停。

三、那个三分支判断,是踩出来的

收音侧的 decide 实现叫 lossEndsTurn,三条分支:

if (change == AUDIOFOCUS_LOSS_TRANSIENT_CAN_DUCK) return false      // 麦克风没有音量可 duck
if (CallState.isActive || mode != MODE_NORMAL) return true          // 来电,这一轮结束
if (regrabs < MAX_REGRABS) { regrabs++; focus.retake() }            // 讨回来,最多两次
return false                                                        // 讨不到也继续听

MAX_REGRABS = 2 是个工程折中,不是产品逻辑:不加这个上限,两个 App 会互相抢;超过两次还继续讨,就等于为了焦点把用户正在说的话丢掉——那比听不清更糟。

第一条分支和第二条分支的差别值得单独看一眼:duck 请求对麦克风毫无意义,所以直接忽略;而来电要立刻结束,判据不是焦点类型,而是 CallState.isActive 或者音频模式已经不是 MODE_NORMAL(后者在响铃那一刻就变,比通知更早)。

改动之前,两条规则是一模一样的:丢了焦点就结束这一轮。代价是一个很好复现的 bug——任务跑到一半点一下球想补一句,麦克风开了,随即关掉。因为被驱动的 App 正在前台,自动播放、消息音、刚点开的语音条,每一个都是一次焦点请求。

四、打断为什么必须绕开队列

TtsController.stopSpeaking() 的注释解释了它为什么不走 executor:

排进队列的任务会卡在 AudioIO.finishStreamPlayback 后面,而那个方法按剩余未播音频的长度 sleep。

去 AudioIO 里核对,finishStreamPlayback 结尾确实是:

val remainingMs = remaining * 1000L / streamPlaySampleRate
Thread.sleep(remainingMs + 200)

"用户按下停"这件事要等的,恰恰就是这 remainingMs。所以 barge-in 走的是另一条路:先把 cancelled 置位(可能有一句话还排在队列里没开始),再直接对 AudioTrack 做 pause / flush / stop——这几个调用便宜,从调用方线程直接做是安全的。

顺带一个状态机的细节:stopSpeaking() 故意不改球的状态。调用方通常是 startTurn,它马上要把状态切成 RECORDING;只有焦点丢失那条路径没有调用方,才需要自己补一句 setState(IDLE),否则球会在静音里继续对口型。

五、来电为什么是个 Set

private val activeKeys = ConcurrentHashMap.newKeySet<String>()
val isActive get() = activeKeys.isNotEmpty()

键是 StatusBarNotification.key。用集合不用布尔,是因为两个边界:

  • 并发来电:WhatsApp 未接来电横幅还在,拨号器响铃通知又来了。布尔值会在第一条 onNotificationRemoved 到达时清零,通话中途把麦克风放出去。
  • 同一条通知被更新:"正在呼叫…"变成"通话中 00:12",系统会重新 post 同一个 key。按 key 去重之后,同一条通知重发几次都只算一次。

为什么不用 AudioManager.getMode():MODE_IN_CALL 在部分 OEM 上要电话权限;MODE_IN_COMMUNICATION 要等 App 自己开了麦克风才置位,那时唤醒词已经撞上去了;而且它完全覆盖不到响铃窗口。

唤醒词那一侧的 gate 是同一条思路的串行版:七项全真才拿麦克风(未退出、允许听、ASR 空闲、TTS 停着、没在录音、没有来电、提示音没响),100ms 轮询一次,任一项变假就松手。漏掉 TTS 停着 这一项的后果,注释写得很直白:他会听到自己说出一个接近唤醒词的音,然后被自己的声音叫醒。

六、代价

  1. 没有全双工。AudioIO 里明确写了不挂 AcousticEchoCanceler / NoiseSuppressor,实测数据是:小米平板 5 上,只挂降噪时第一次 read() 10.2 秒才返回,两个都挂 20.4 秒,都不挂 159 毫秒。而火山一个会话八秒收不到包就断——十秒的死麦等于整个回合没了。选了"能听清"就得放弃"同时听"。
  2. **那条三分支修复没在真机上验证过。**CHANGELOG 自己的原话是 reasoned from the code, not from a capture——测试机不留 App 日志,语音 key 又失效。这一段到今天仍是推理正确。
  3. 中断只有本地两层是保证的。stopEverything 的注释:云端只是"请取消",已经派发给这台设备的工具请求会跑完。对一个正在点屏幕的 agent,这意味着按下停之后,那一下还是会发生。

一句话

在设备上,能不能被打断取决于三件事按什么顺序发生:播放先停、麦克风再开、期间不能是一通电话。这个顺序不在模型手里,在音频策略手里;一条推理延迟的曲线解释不了它。