客户说机器人抢话,我拆了 212 次打断,问题不在模型

0 阅读8分钟

四月的一个下午,客服主管把一段录音转给我们,只有一句话:

「你们那个机器人,我说了三遍它还在念。」

录音我听了两遍。客户在第二句就改了口,把「退掉整个套餐」改成了「只退附加包」。机器人完全没听见,一路把套餐退订的流程念完,最后还问了一句「请问您确认吗」。

客户在第三十秒挂断了。

一、第一反应还是查模型

这是我们第三次在语音这条线上犯同一个错:答得不好,先怀疑模型。

那天晚上我把同一段音频重新跑了一遍。换模型、调温度、加一句「如果用户中途改口,以最后一次为准」的提示,三种做法都试了。

结论是:模型一次都没拿到客户改口的那句话。

我们的实时语音对话链路当时是这样串的:判断用户说完了 → 整段转写 → 交给模型 → 模型出全文 → 送去语音合成 → 播放。

问题出在第一步和最后一步之间的那段空白:只要第一个判断认为「说完了」,后面的转写、模型、合成、播放就开始一路往下走,这段时间里用户说什么都进不来。

这不是模型能力问题,是链路是半双工的。对讲机就是半双工:你说的时候我听不见,我说的时候你插不进来。换哪一家的大模型 API 都救不了,因为那段音频根本没走到模型门口。

而人和人说话是全双工的。客户改口的那一刻,他默认对方在听。

二、先把「抢话」变成一个数

我们没有马上改代码,先做了一件更笨的事:把一周的通话抽出来,逐通听。

2,400 通里,出现真实打断的 212 通。所谓真实打断,是用户在机器人说话期间开口,并且说的是有效内容,不是「嗯」「对」这类附和。

图_2 212_次打断摊开四类,前两类占_71.7%.png

212 次打断摊开是四类:

  • 说完又补一句,98 次,占 46.2%。用户先说了半句,机器人开始应答,他想起还有一句。
  • 只想换话题,54 次,占 25.5%。「不是这个,我要问发票。」
  • 嫌慢催一句,37 次,占 17.5%。「你说快点。」
  • 噪音误触发,23 次,占 10.8%。旁边有人说话、电视声、车辆经过。

前两类加起来 71.7%。也就是说,七成的打断不是「用户急」,是「我们的链路默认用户只说一次」。

顺带量了另一个数:从用户开口到机器人闭嘴,平均 1,100 毫秒。

人跟人说话,这个数字大约是 200 毫秒。也就是说,用户说完一句之后,要听我们把上一句念完将近一秒,才会感觉到「它在听」。

一秒在文字里不算什么,在语音里很刺耳。

三、端到端延迟拆成五段

改之前先把时间拆开。我们量的是「用户说完最后一个字」到「机器人第一个字出声」:

环节改造前改造后
静音判定620 ms240 ms
流式转写340 ms0(与下一段重叠)
模型首字480 ms420 ms
合成首包260 ms190 ms
播放启动180 ms120 ms
合计1,880 ms970 ms

图_1 两秒拆成五段:静音判定从_620_降到_240_ms.png 最扎眼的是第一行。620 毫秒的静音判定,几乎全花在「等」上:我们的 VAD 用的是能量阈值,必须连续 600 毫秒没有超过阈值的声压才认为用户说完了。

这个参数不是随便定的。调小,用户说一半停顿换气就被当成说完;调大,每一句都要多等几百毫秒。

端点检测这件事,本质上是在「别抢话」和「别等太久」之间选一个位置。  我们当时选得太保守了。

第二行那个 340 毫秒,改造后变成 0,不是因为转写变快了,而是因为改成流式转写之后,它和后面的模型首字计算重叠了。用户还在说的时候,前面的字已经在转了。

这一条是整个改造里性价比最高的,也是最容易被忽略的:延迟不一定要靠「每一段更快」,靠「几段同时跑」往往更划算。

四、打断怎么才能真的停下来

第二件事是让机器人能被真的打断。

原来的做法是「检测到人声就停」,听起来对,实际很糟:客户咳一声、旁边有人说话,机器人就停了,然后客户以为断了,两个人都卡在那里。

改成两层:

快层负责停。  用的是 Silero VAD,20 毫秒一帧判断有没有人声,连续 90 毫秒判定为用户开口,立刻停掉语音合成并清空播放缓冲。这一段的目标是快,宁可误停,后面能恢复。

慢层负责判。  停下来之后,不马上重新应答,先做轮次判定:这段人声是有效内容,还是噪音、附和、咳嗽。只有判定为有效内容,才进入转写和模型。

慢层我们用的是语义端点,而不是纯声学:把已经转出来的半句和上一轮的话一起看,判断「这句话说完了没有」。它比纯 VAD 慢,但对「说一半换气」这种停顿的容忍度高得多。

两层的分工很清楚:快层保证「不会抢话」,慢层保证「不会被打断就乱」。

改完之后,停止延迟从 1,100 毫秒降到 90 毫秒,误打断率从 3.1% 降到 0.6%。

那个 0.6% 我们没再往下压。再往下压就要把快层的阈值调高,代价是真实打断会漏掉一部分——漏掉打断比误停更伤,因为你连「它听见了」这个感觉都没给到用户。

五、还有三件不显眼但很值的事

第一件,回声消除。  电话线里机器人自己的声音会漏回麦克风。全双工一开,这个漏回来的声音被 VAD 当成用户开口,机器人自己把自己打断,一打断就停,一停就安静,一安静就继续念——用户体验是「它一直在结巴」。

回声消除(AEC)不是可选项,是开全双工的前提。

第二件,转写结果要能撤回。  流式转写是一边出字一边给模型。用户改口的时候,前面那半句已经进了上下文。我们的做法是把每段转写带一个 turn 号,用户改口就丢弃同一 turn 里更早的片段,而不是把两段都留着让模型自己选。

第三件,合成要能截断。  很多语音合成接口是按整段返回的,一旦开始合成,中途停不掉,只能把已经拿到的播完。开全双工之前必须先确认你的合成接口支持流式首包和中断,否则前面做的一切都白搭。

六、改完的数

指标改造前改造后
端到端首字延迟1,880 ms970 ms
打断停止延迟1,100 ms90 ms
误打断率3.1%0.6%
自助完成率81.6%88.8%
转人工率18.4%11.2%

转人工从 18.4% 到 11.2%,一年 876,000 通,少转 63,072 通。

投入 176 人时:端点和打断 64、流式改造 48、转写重叠 32、合成首包 20、灰度回归 12。按 280 元一人时,49,280 元。年维护 72 人时,20,160 元。

成本这边更细一点:每通通话成本从 0.14 元降到 0.118 元(转写按分钟计、合成按字符计、模型按 token 计),一年 122,290 元降到 103,158 元,省 19,132 元。

钱主要不在成本上。少转的 63,072 通,按一通人工 8 元算,504,576 元。加总一年 523,708 元,首年净 454,268 元,1.6 个月回本。

但我不觉得这个数是最重要的。

七、真正变了的是判断顺序

改之前,客户说「机器人抢话」,我们的第一反应是「模型是不是该换了」。

改之后,同样一句话,我们的第一反应是:先看停止延迟,再看端点阈值,最后才看模型。

这个顺序的变化值多少钱,我没法算。但这个下午我知道了一件事:语音这条线上,绝大部分「它不聪明」,其实是「它没在听」。

如果你的语音机器人也被投诉抢话,别急着换模型。先量三个数:从用户开口到你闭嘴多少毫秒,误打断率多少,你的合成接口能不能中途停。

这三个数量完,要改哪里通常一眼就看出来了。


参考:改造期间我们做过一轮多模型的对照跑,走的是统一接口,词元云,一个 base_url 指向统一地址、换模型只改一个模型名,调用代码里是 os.environ["LLM_API_KEY"] 加 api.example.com 占位,密钥不进仓库。结论是三个模型在延迟上差不到 100 毫秒,真正的差距全在链路。tokenfreeai.com