网页音画不同步?我写了个扩展只推迟声音(附实现原理)

22 阅读7分钟

蓝牙耳机看剧总慢半拍:我把声音往前挪了一点

看剧时嘴已经闭上了,声音才出来。蓝牙耳机延迟 100~300ms,投屏更久。

我写了个扩展:接管当前标签页的声音,往前或往后挪,把这点错位对回来。这篇不讲 API,只讲它的骨架——声音从哪来、怎么对齐、错了怎么办。

实现链路图.png 声音从三条路进来,经过四道手,最后只有一套对齐逻辑。

一、先看全貌:声音要过四道手

浏览器给扩展的不是一个环境,是四个,各干各的活:

  • 页面自己的环境:唯一改得动页面播放器的地方。改得晚也不行,必须赶在页面脚本之前跑。
  • 扩展的隔离环境:大部分代码住这,能调浏览器接口,但改不到页面的对象。
  • 后台:只有这里点图标才算「用户同意」,所以接管只能从这发起。
  • 一个隐藏的空白页:播放声音要用的音频环境,后台里没有。

所以这个项目的目录结构不是我设计的,是这四个环境各自能干什么划出来的。

比如「接管」这一步,两段代码就不在同一个文件里:

// 后台:只有点击图标这一下,才算用户同意,才拿得到流 id
const streamId = await chrome.tabCapture.getMediaStreamId({ targetTabId: tabId });

// 隐藏页:把这条流接成音频图,延迟之后再送回扬声器
const stream = await navigator.mediaDevices.getUserMedia({
  audio: { mandatory: { chromeMediaSource: 'tab', chromeMediaSourceId: streamId } },
  video: false
});

const ctx = new AudioContext({ latencyHint: 'interactive' });  // 隐藏页里新建
const delay = ctx.createDelay(10.5);
ctx.createMediaStreamSource(stream).connect(delay).connect(ctx.destination);

环境定完,第一个问题就是:声音从哪拿?

二、声音从哪来:三条路,最后都变成一个 audio

一共三条路,成本差一倍:

走哪条怎么拿额外流量
① 复制页面用 hls.js 播放时,复制它已经下载的音频片段0
② 拆包页面是原生 HLS 时,用调试协议把切片取回来,重新打包0
③ 重拉自己把同一个流再下一遍翻倍

为什么不只留一条?因为实时的声音里没有「未来」——想提前,只能提前拿到画面还没播到的那段音频。而不同站点的播放方式不一样,只能分开处理。

第一条路是这么拿的——播放器往缓冲区塞音频时,顺手复制一份出来:

// sb 就是页面播放器建的那个 SourceBuffer,这段跑在页面自己的环境里
const origAppend = sb.appendBuffer.bind(sb);   // 先留一份原来的
sb.appendBuffer = function (data) {
  // 必须复制:appendBuffer 会把传进去的数组清空,晚一步拿到的就是空壳
  const copy = data.slice(0);
  window.postMessage({ __ads: true, type: 'chunk', data: copy }, '*', [copy]);
  return origAppend(data);   // 页面自己的播放完全不受影响
};

但三条路只在取数据这一段不同。拿到之后,统一变成一条只有声音的 audio(就是页面里放声音的那个标签)——它有自己的进度条,所以可以被摆到画面前面。

这一步是整个架构里最省事的地方:对齐逻辑只有一份,以后加第四条路也不用改它。

顺带说一句:③ 只在完全抓不到时兜底。因为它从 0 秒开始播,在 5 分钟处根本追不回来,运行中切过去只会更糟。

路的问题解决完,马上撞上第二个问题:这两个进度条,对不上。

三、两个进度条对不上,差的是一个固定数

页面有自己的进度,我们那条 audio 也有一个。两边播放速度一样,差的是一个固定值。

实测 1.6 秒。不补这一下,位置看着对齐,内容整体晚一句台词。

这个值不能写死。播放器如果在第 6 分钟才启用这个功能,切片是从 0 重新计时的,差值直接变成 −460 秒。

所以让它自己量:只在两边都往前走了才取一次样本,攒 9 次取中间值,太散了就不要。这样不管从第几秒启用,它都能自己收敛。 量法就这几行:

const da = audioEnd - lastAudioEnd;      // 声音这边往前走了多少
const dv = videoEnd - lastVideoEnd;      // 画面这边往前走了多少

if (da < 0.05 || dv < 0.05) return;      // 只有一边动了:量出来的是「谁先下载」
if (Math.abs(da - dv) > 0.3) return;     // 一边跨了好几片,这一拍不可比

const sample = audioEnd - videoEnd;      // 两条时间轴的差值
samples.push(sample);
if (samples.length > 9) samples.shift(); // 只留最近 9 次

// 取中位数而不是平均值:偶尔一片迟到,平均值会被带跑
const sorted = samples.slice().sort((a, b) => a - b);
offset = sorted[Math.floor(sorted.length / 2)];

这里踩过最深的坑:我一开始把「超过 10 秒」当异常丢掉。结果 −460 这种正常样本永远进不来,声音死死停在片头,面板还写着「音频慢 460 秒」——怎么拖都没用。把上限放到 1 小时才对。

知道差多少,下一步才是动手。

四、知道差多少之后:先判断,再动手

每 250 毫秒算一次差多少,然后照这张表办:

情况做什么
差超过 0.35 秒直接把位置挪过去
差得不多把播放速度调到 0.9~1.1 倍,慢慢追
目标位置还没数据先静音,等数据到了再对齐

中间那档用的是变速不变调,短时间听不出来;但范围必须夹住,再大就是明显的快放慢放。

比阈值更重要的是:判断和执行是分开的。判断那一层只回答「继续等、降档、还是换条路」,不碰播放器;执行那一层才真的去暂停、跳转、改速度。

// 判断:只吃状态、只返回结论,从头到尾没碰过播放器
function decideSilence(x) {
  if (x.adGrace || x.feeding) return 'wait';         // 广告中 / 数据还在来
  if (x.silentMs > x.silentLimit) return 'degrade';  // 超预算:换条路(预算见下一节)
  if (x.silentMs > 2000) return 'downgrade';         // 先把提前量降下来
  return 'wait';
}

执行那一层(captureTick)拿到 'downgrade' 就把提前量降到缓冲撑得住的位置,拿到 'degrade' 就退出增强模式——判断和执行之间只传一个字符串。

好处很实在:这套判断能单独测(项目里 22 组 154 条断言,专门有一组在验它),改阈值不会把播放器改坏。

到这儿,顺利的情况都讲完了。但实际用起来,失败才是常态。

五、动手也可能失败,所以退路要提前留

退路有三层,顺序不能反:先降档(少提前一点,让声音先出来),还不行就降级(退出增强模式,回到只能延后的普通模式),最后才考虑换第三条路(代价是流量翻倍)。

顺序反了会很贵——能用降档解决的,不该直接跳到翻倍流量。

还有两件必须提前想的事:

  • 等多久不能写死。第二条路的数据来自播放器请求,播放器自己在预缓冲时,我们什么也抓不到。固定 8 秒会把它冤杀,所以按画面剩余缓冲放宽,最多等 20 秒。
  • 浏览器会来捣乱。一进全屏,调试连接会被踢掉;后台闲置会被回收;消息发出去也不保证到达。这三件事都得有预案,不然表现就是「全屏后突然没声了」。

这些不是异常处理,是日常。

最后

骨架其实就三句话:

  • 声音经过四道手,每道手只能干一件事;
  • 来源有三条路,但出口只有一个 audio;
  • 两边差一个数,量出来,再决定怎么动手。

想清楚这三件事,剩下的都是实现细节。

全程本地,零网络请求,MIT。仓库 github.com/cxknotjj/web-audio-sync,在线演示 deerfect.me/web-audio-sync。 如果它对你有帮助,欢迎你点个Star⭐