会议转写每 2 分钟换一次会话,断线只丢 1 段

0 阅读7分钟

会议转写每 2 分钟换一次会话,断线只丢 1 段

先给结论。把 Android 设备的麦克风借给一整场会,真正难的不是识别准不准,是下面四件事:

  1. 不能只开一个识别会话,否则会议结束前磁盘上什么都没有,中间断一次线就是整场丢失。
  2. 轮转必须先连新的、再退旧的,退旧的会阻塞等 final,空窗期就是录音里的洞。
  3. 多个会话的 final 一定乱序,按到达顺序追加会把"后面的话"排到前面,而且读起来还是通顺的,极难查。
  4. 能录不等于能署名——没有说话人分离,纪要里"谁做什么"那一栏只能空着。

下面按证据、实现、代价展开,数字都来自仓库里的常量,不是估算。

一、证据:为什么单会话等于零

AsrEngine 对两家服务商(火山、Google 实时接口)承诺的只有三件事:音频边到边送、送的时候还在听、调用方说"这段结束"时回一个 final。

关键在第三条。识别器不是每识别一句就吐一句完整文本,它给的是 partial——边说边变的半句,随时可能被下一版覆盖。确定性的那一次输出,只在被告知一段话结束时到来。

那么一场一小时的会:开一个会话,喂一小时音频,最后要一次 final。这中间任何一个环节抖动——网络、鉴权过期、服务端主动断——你手上就只剩 partial 的最后一小截。会议不可重来,这份数据是唯一的。

所以录音器把会议切成段,每段自己开一个识别会话,final 一落地就追加到磁盘。断线损失的上限被压到"一段",而不是"一场"。

二、轮转的三个常量

const val SEGMENT_SOFT_MS = 120_000L   // 最早可以换的年龄
const val SEGMENT_HARD_MS = 180_000L   // 不管怎样都得换
const val PAUSE_MS        = 800L       // 静音这么久,缝才安全

判断在音频读取线程里做,只读两个时间戳:段打开的 uptime、识别器最后一次产出新字的时间。条件组合是:

  • 年龄 < 2 分钟 → 不动;
  • 年龄 < 3 分钟且 800 毫秒内还有新字 → 不动(人家正在说话,别在句子中间切);
  • 否则标记 rotatePending,把真正的活丢给会话线程。

为什么要在静音处切?因为两个会话会同时收到同一块 100 毫秒的音频(注释原话),落在没人说话的地方,重复几个字没人看得出来;落在句子中间就是一句被切成两半,而且前后两半都不完整。

真正的 rotate() 顺序是:先 openSegment() 拿到新会话,赋给 active,再 retire 旧的。

这一步反直觉,但注释把账算清楚了:retire 要发一帧 isLast,然后阻塞等 final——这个等待时长是问引擎要的(火山的 finalWaitMs 约半秒;Google 要先推一段尾静音再等回复),不是写死的常量,因为一个共享数字只能对其中一家正确。连接新会话又要一两秒。这两段时间里如果场上没有活着的会话,音频调 send 就是往一个 null 上打。

先开再退还有个白拿的好处:新会话连不上时,catch 里什么都不用回滚——旧会话仍然活着、仍在收音频,这场会没有任何损伤。只要把旧会话的 openedAt 重置成当前时刻,让下一次尝试在几分钟后,而不是在下一个音频块上立刻重试。

三、顺序:final 会迟到

退掉的段,它的 final 走的是那条已经要关的 WebSocket;活着的段走另一条。两条 IO 线程各管一段,谁先回来完全由网络决定。

如果直接 append,逐字稿会出现"第 3 段的内容排在第 4 段后面"。这种错最阴险:文本本身通顺,没有人会怀疑顺序。

所以 final 先按段号塞进 TreeMap<Int, String>,只放行从 nextToFlush 开始连续的那一串——0 到了放 0,1 到了放 0、1,2 缺着就等。放行的部分拼成一块,一次性追加到内存里的 StringBuilder 和磁盘文件。

配套的是一个兜底:retire() 的最后一步是 seg.settle()。它把这一段的 partial 当作 final 记下来(AtomicBoolean 保证只记一次)。原因是 waitFinished 的锁不仅被 final 放行,也被错误和 close 放行——final 并不保证到来。没有这个兜底,一段永远缺号,后面按序放行的逻辑会一路卡死,表现是"后半场会议消失了"。

四、抢占:焦点一丢,会就结束

录音器拿的音频焦点档位是 GAIN_TRANSIENT_EXCLUSIVE,不是常见的 duck。理由:喇叭离麦克风一英寸,一个只把音量压低的媒体 App 仍然在往录音里播,而这次要播一小时。

焦点被抢(来电)时,会议结束,已经说的保留。这里有个对外语义要做到位的字段 stopped_by,四个值:

值含义谁触发
user用户点了球 / 停止键球点击、三连击、界面停止
focus别的东西拿走了音频焦点通常是来电
brain他自己调 stop_meeting模型
shutdown服务要销毁了onDestroy

这个字段是要念给用户听的,所以每个值都得是真的。历史 bug:focus 被报成 user,于是电话打断了录音,他还告诉用户"你点了球结束"——用户没做过的动作。修完之后,这个字段还决定推给大脑的纪要请求开头那句括号:是"我点了球",还是"电话抢走了麦克风,所以提前结束了,纪要可能缺结尾"。

顺带一个细节:录音期间 stopEverything()(三连击/肩拍)的第一行就是——正在录音,就 stopFromUser() 然后 return。因为正常的 stop 会先关掉大脑输出,而那小时的逐字稿只有一份。语音退出同理,会被拒,弹一句"先结束会议并保存纪要"。

五、线程模型

三个执行上下文,各管一件事:

  • 音频读取线程(AudioIO-Streamer):每 100 毫秒一个块,只做 seg.send(chunk) 和 maybeRotate。必须便宜,它是读循环,卡住就丢音频。
  • MeetingRecorder(单线程):只做会话的开与关。退会话要阻塞,所以绝不能放在音频线程或主线程。
  • MeetingWriter(单线程):只做磁盘追加。

两个 executor 都在 shutdown() 里关掉,之后的提交要 runCatching 包住:一段会话可能在自己的 WebSocket 线程上 settle,那时 writer 已经关了,被拒的任务不能变成识别器回调里的崩溃。音频线程同理——exec 关掉之后 execute 会抛 RejectedExecutionException,不包住就是读循环直接死。

界面那边只有一行:TAIL_CHARS = 80,字幕只显示逐字稿的尾巴 80 字。因为那一行的 maxLines = 4 且尾部省略,装不下就会把最新的话(也是唯一值得看的)藏起来。

六、代价

代价事实
明文落盘meetings/meeting-YYYYMMDD-HHmmss.txt,appendText 纯文本。笔记本走 Keystore 加密,转写不走
音频上行识别不在端侧:火山 openspeech.bytedance.com,或 Google aiplatform.googleapis.com
无说话人分离工具描述原文 raw speech, no speaker labels;纪要有"谁做什么"一栏,填不出来就写"待定"
超长砍中间返回给模型的上限 60,000 字符(注释:约四小时中文会),超出时保留首尾,中间插入"省了多少字、全文在哪"
来电掐会宁可缺结尾,也不录一场没让它录的通话
开始无声录音这个动作不发声,房间里其他人只能靠用户自己开口说一声

最后一条不是技术债,是产品债:start() 里从头到尾没有一次提示音,Earcon 只服务"开始听"和"思考中"两个状态。屏幕变了,球变成录音态——只有拿着设备的人看得见。

收尾

这套东西回答的是"能不能把一个小时的会完整落到纸上"。回答不了的是"这间屋子里另外几个人什么时候知道自己在被录"。

后者现在挂在场景提示词的一句话上:"先把该说的话说完,再开始录音。"那只是给模型的建议,不是机制。这里现在不行。