四月的一个下午,客服主管把一段录音转给我们,只有一句话:
「你们那个机器人,我说了三遍它还在念。」
录音我听了两遍。客户在第二句就改了口,把「退掉整个套餐」改成了「只退附加包」。机器人完全没听见,一路把套餐退订的流程念完,最后还问了一句「请问您确认吗」。
客户在第三十秒挂断了。
一、第一反应还是查模型
这是我们第三次在语音这条线上犯同一个错:答得不好,先怀疑模型。
那天晚上我把同一段音频重新跑了一遍。换模型、调温度、加一句「如果用户中途改口,以最后一次为准」的提示,三种做法都试了。
结论是:模型一次都没拿到客户改口的那句话。
我们的实时语音对话链路当时是这样串的:判断用户说完了 → 整段转写 → 交给模型 → 模型出全文 → 送去语音合成 → 播放。
问题出在第一步和最后一步之间的那段空白:只要第一个判断认为「说完了」,后面的转写、模型、合成、播放就开始一路往下走,这段时间里用户说什么都进不来。
这不是模型能力问题,是链路是半双工的。对讲机就是半双工:你说的时候我听不见,我说的时候你插不进来。换哪一家的大模型 API 都救不了,因为那段音频根本没走到模型门口。
而人和人说话是全双工的。客户改口的那一刻,他默认对方在听。
二、先把「抢话」变成一个数
我们没有马上改代码,先做了一件更笨的事:把一周的通话抽出来,逐通听。
2,400 通里,出现真实打断的 212 通。所谓真实打断,是用户在机器人说话期间开口,并且说的是有效内容,不是「嗯」「对」这类附和。
212 次打断摊开是四类:
- 说完又补一句,98 次,占 46.2%。用户先说了半句,机器人开始应答,他想起还有一句。
- 只想换话题,54 次,占 25.5%。「不是这个,我要问发票。」
- 嫌慢催一句,37 次,占 17.5%。「你说快点。」
- 噪音误触发,23 次,占 10.8%。旁边有人说话、电视声、车辆经过。
前两类加起来 71.7%。也就是说,七成的打断不是「用户急」,是「我们的链路默认用户只说一次」。
顺带量了另一个数:从用户开口到机器人闭嘴,平均 1,100 毫秒。
人跟人说话,这个数字大约是 200 毫秒。也就是说,用户说完一句之后,要听我们把上一句念完将近一秒,才会感觉到「它在听」。
一秒在文字里不算什么,在语音里很刺耳。
三、端到端延迟拆成五段
改之前先把时间拆开。我们量的是「用户说完最后一个字」到「机器人第一个字出声」:
| 环节 | 改造前 | 改造后 |
|---|---|---|
| 静音判定 | 620 ms | 240 ms |
| 流式转写 | 340 ms | 0(与下一段重叠) |
| 模型首字 | 480 ms | 420 ms |
| 合成首包 | 260 ms | 190 ms |
| 播放启动 | 180 ms | 120 ms |
| 合计 | 1,880 ms | 970 ms |
最扎眼的是第一行。620 毫秒的静音判定,几乎全花在「等」上:我们的 VAD 用的是能量阈值,必须连续 600 毫秒没有超过阈值的声压才认为用户说完了。
这个参数不是随便定的。调小,用户说一半停顿换气就被当成说完;调大,每一句都要多等几百毫秒。
端点检测这件事,本质上是在「别抢话」和「别等太久」之间选一个位置。 我们当时选得太保守了。
第二行那个 340 毫秒,改造后变成 0,不是因为转写变快了,而是因为改成流式转写之后,它和后面的模型首字计算重叠了。用户还在说的时候,前面的字已经在转了。
这一条是整个改造里性价比最高的,也是最容易被忽略的:延迟不一定要靠「每一段更快」,靠「几段同时跑」往往更划算。
四、打断怎么才能真的停下来
第二件事是让机器人能被真的打断。
原来的做法是「检测到人声就停」,听起来对,实际很糟:客户咳一声、旁边有人说话,机器人就停了,然后客户以为断了,两个人都卡在那里。
改成两层:
快层负责停。 用的是 Silero VAD,20 毫秒一帧判断有没有人声,连续 90 毫秒判定为用户开口,立刻停掉语音合成并清空播放缓冲。这一段的目标是快,宁可误停,后面能恢复。
慢层负责判。 停下来之后,不马上重新应答,先做轮次判定:这段人声是有效内容,还是噪音、附和、咳嗽。只有判定为有效内容,才进入转写和模型。
慢层我们用的是语义端点,而不是纯声学:把已经转出来的半句和上一轮的话一起看,判断「这句话说完了没有」。它比纯 VAD 慢,但对「说一半换气」这种停顿的容忍度高得多。
两层的分工很清楚:快层保证「不会抢话」,慢层保证「不会被打断就乱」。
改完之后,停止延迟从 1,100 毫秒降到 90 毫秒,误打断率从 3.1% 降到 0.6%。
那个 0.6% 我们没再往下压。再往下压就要把快层的阈值调高,代价是真实打断会漏掉一部分——漏掉打断比误停更伤,因为你连「它听见了」这个感觉都没给到用户。
五、还有三件不显眼但很值的事
第一件,回声消除。 电话线里机器人自己的声音会漏回麦克风。全双工一开,这个漏回来的声音被 VAD 当成用户开口,机器人自己把自己打断,一打断就停,一停就安静,一安静就继续念——用户体验是「它一直在结巴」。
回声消除(AEC)不是可选项,是开全双工的前提。
第二件,转写结果要能撤回。 流式转写是一边出字一边给模型。用户改口的时候,前面那半句已经进了上下文。我们的做法是把每段转写带一个 turn 号,用户改口就丢弃同一 turn 里更早的片段,而不是把两段都留着让模型自己选。
第三件,合成要能截断。 很多语音合成接口是按整段返回的,一旦开始合成,中途停不掉,只能把已经拿到的播完。开全双工之前必须先确认你的合成接口支持流式首包和中断,否则前面做的一切都白搭。
六、改完的数
| 指标 | 改造前 | 改造后 |
|---|---|---|
| 端到端首字延迟 | 1,880 ms | 970 ms |
| 打断停止延迟 | 1,100 ms | 90 ms |
| 误打断率 | 3.1% | 0.6% |
| 自助完成率 | 81.6% | 88.8% |
| 转人工率 | 18.4% | 11.2% |
转人工从 18.4% 到 11.2%,一年 876,000 通,少转 63,072 通。
投入 176 人时:端点和打断 64、流式改造 48、转写重叠 32、合成首包 20、灰度回归 12。按 280 元一人时,49,280 元。年维护 72 人时,20,160 元。
成本这边更细一点:每通通话成本从 0.14 元降到 0.118 元(转写按分钟计、合成按字符计、模型按 token 计),一年 122,290 元降到 103,158 元,省 19,132 元。
钱主要不在成本上。少转的 63,072 通,按一通人工 8 元算,504,576 元。加总一年 523,708 元,首年净 454,268 元,1.6 个月回本。
但我不觉得这个数是最重要的。
七、真正变了的是判断顺序
改之前,客户说「机器人抢话」,我们的第一反应是「模型是不是该换了」。
改之后,同样一句话,我们的第一反应是:先看停止延迟,再看端点阈值,最后才看模型。
这个顺序的变化值多少钱,我没法算。但这个下午我知道了一件事:语音这条线上,绝大部分「它不聪明」,其实是「它没在听」。
如果你的语音机器人也被投诉抢话,别急着换模型。先量三个数:从用户开口到你闭嘴多少毫秒,误打断率多少,你的合成接口能不能中途停。
这三个数量完,要改哪里通常一眼就看出来了。
参考:改造期间我们做过一轮多模型的对照跑,走的是统一接口,词元云,一个 base_url 指向统一地址、换模型只改一个模型名,调用代码里是 os.environ["LLM_API_KEY"] 加 api.example.com 占位,密钥不进仓库。结论是三个模型在延迟上差不到 100 毫秒,真正的差距全在链路。tokenfreeai.com