三层各干各的:网页、扩展、引擎
用 JS 写界面最顺手,于是想让 C++ 引擎从 JS 里调进来,顺手用 Electron 打包。这篇写接的过程:原生扩展怎么按 Electron 自带的 Node ABI 重建、播放器为什么放主进程、渲染进程只发消息,以及把画面送进网页的两条路——直接画进 canvas 那条撞上浏览器没有导入外部纹理的口子,最后走的是原生窗口浮在网页那块位置上。
最上面是 Electron 的网页界面,中间是 Node.js 的原生扩展,底下是 C++ 引擎。界面的活归网页,播放的活归引擎,中间这层把两者接上。
C++ 接口先用工具生成脚本语言的包装,再写一份构建描述指明源文件和库路径,编成 .node 的二进制。这里的第一道坑:给 Electron 用的扩展,必须按当前 Electron 自带的 Node ABI 重建——直接拿 Node 编出来的二进制凑合,运行时就报 Node 版本不对。原因是 Electron 里跑的不是系统里那个 Node,是它自己带的那个;两边 Node 版本不同,二进制接口就对不上。办法是重建时把目标对到所用 Electron 的版本,把头文件也对到它发布的那份。
引擎放主进程,网页只发消息
播放器实例建在主进程里。渲染进程是纯网页,不直接碰引擎,动作经 IPC 发过去:起播、停、切硬解、切数据源、设水印、设滤镜参数。主进程收到再落到引擎上。
命令与状态走两条通道。命令是网页发起、主进程应答,一个动作一个入口;状态和位置是引擎侧发起、往网页推的通知,推之前节流——位置这类东西每帧都在变,全量推会把进程间的通道打爆。两个网页(主窗的界面、容器窗的画面层)互不直接说话,各自跟主进程往来。
这样分的理由很实际:引擎对象只在一处被持有,不用操心几个网页上下文抢同一个句柄;网页刷新、重开,引擎那条命不受影响——渲染进程崩了,引擎还活着,重连上状态就好。反过来的隔离也有:引擎在自己的线程里跑,不占渲染进程的帧预算,网页掉帧不会拖慢解码,解码忙也不会卡界面。
命令面收得很窄是有意的:网页能做的只有那几个动作,命令入口做的只是参数校验加转发,引擎对象不出主进程那个文件。把引擎的细粒度接口直接铺到网页层,等于把线程边界拆了,谁都能在任何时刻碰它。
包装的生成还有个顺序问题:接口先定在公共头里,工具按它出脚本语言的包装,再配一份构建描述——源文件清单、头文件路径、要链的库,都在那份描述里。接口改了,重跑生成;构建描述跟着接口走,不跟着调用方走。
帧进网页这条路,浏览器没给口子
一开始想走的是最直的那条,而且想法顺理成章:界面全是网页,画面也该是网页里的一个元素,布局、圆角、叠加都是现成的。做法是引擎渲染完,显存里那张纹理经共享句柄交给浏览器,浏览器用 WebGPU 或 WebGL 导入,画进 canvas。
查下来的结论是浏览器侧没有这个导入接口。当时查资料还见过一版方案,说得有鼻子有眼:DX11 共享句柄经 WebGPU 导入渲染,接口名都给了;把那一片 API 翻遍,那个接口根本不存在。退一步,把画面读回 CPU 再传给网页,也能动,但硬解就白做了——GPU 这一层本来就是为了绕开 CPU 拷贝才存在的。这条路写成走不通,就是走不通。
还有一层没算进来:画面之外,字幕和界面元素都画在引擎的呈现上。走 canvas 的话,网页拿到的只是一份视频帧,字幕得在网页那侧另起一套——等于把已经做对的事再做一遍。
绕过去:原生窗口浮在网页那块位置上
Electron 的窗口对象能拿到当前平台的窗口句柄。有句柄,就能按原生窗口那套流程建交换链出画面——渲染分层那一篇讲过的创面与呈现,这里一样用。
具体做法是再开一个窗口当播放容器:它挂成主窗的子窗,关掉边框、打开透明,把它的窗口句柄交给引擎;这个容器浮在主窗口里、网页留出来的那块位置上。句柄是从窗口对象读出来的一小段缓冲,按小端取整型再交给引擎;引擎那边按原生窗口的流程建渲染窗——建窗口、传句柄、把渲染窗挂给播放器实例,三步。透明必须开,不然底下渲染出来的画面被网页那层盖住,什么都看不见。容器自己也是一张网页,叠在画面上的控制条就是它画的。
剩下的活是跟着走:监听主窗口的移动缩放,加上网页上报的画面区域位置,重算之后把容器的边界挪过去,位置与尺寸一次给全。网页上报的时机也有讲究:布局完成之后报一次,窗口缩放、网页内容变化再报,主进程拿这两个来源合成容器该在的矩形。位置对不齐,画面就露出一角或者偏出网页,所以这一步要盯紧。
代价也交代一下:透明的窗口走的是另一条合成路径,画面叠在网页上的那一下由系统合成器完成,全屏独占那类优化就别想了;这个取舍换来的是界面和画面各写各的、互不干扰。整条接法里,引擎不知道 Electron 存在:给它句柄,它就当原生窗口用,与后面 Avalonia、Flutter 两篇的句柄契约是同一个。
引擎 avox 在 GitHub 开源:github.com/xxxzhou/avo…,原生窗口的建法与这份接法都在里面。
系列《从零做一个全平台播放器》按施工顺序发,本篇是 6.8。 上一篇:6.7 HDR 车道按输出方式分,直通直接交原生渲染 juejin.cn/post/770972…