特效位图文本三类字幕,汇到一块画布一个胜者

0 阅读6分钟

三类字幕三条路,产物是同一块画布

字幕看着是把字画到屏幕上,其实是三条完全不同的路:特效字幕自带排版语言,图形字幕是一摞带时间戳的位图,文本字幕才是真的画字;三条路的产物都汇到一块透明画布,按 sourceOver 叠到画面上。这篇讲这三条路怎么汇、三个槽位怎么仲裁出一个胜者,以及三个只在真实片源里现形的事故——换轨必崩、黄字变青、整行方框。

先看三条路各自的来路。内封轨的包由解封装直接旁路出来,不进音视频那两条队列,选中哪条才转发给视图;外挂文件由引擎自己的解析器读进来;语音识别的产物由上层喂——识别本身不在引擎里,引擎只认它产出的文本行加时间戳。

特效字幕(ASS、SSA)自带一套排版语言:定位、动画、字体、卡拉OK 逐字变色都是脚本指令,抽成一行纯文本就全丢了,必须交给排版引擎还原。图形字幕(PGS)是蓝光原盘那一族:一张张带时间戳的小位图加调色板,没有文字、字体、样式的概念,只能按坐标叠图。文本字幕(SRT、mov_text、语音识别出来的文本)最朴素,自己栅格化成位图就行。

三条路各画各的,产物是同一件东西:一块透明背景的画布,按内容包围盒裁出有效区域。混合只剩一条:把画布以 sourceOver 叠到画面上。这条约束的收益在接新平台的时候看得最清楚——要写的是一个画布混合层,不是一套字幕渲染系统;四个渲染后端就是同一份契约的四个实现,各自只处理自己的色彩域和混合方式。

三类字幕汇到一块画布,上屏按输出方式分两条路

画布上屏有两条路,按输出方式分,不按字幕类型分:普通输出走 Vulkan 合成,与画面一同处理;HDR 直通输出时,画布跟着切到平台原生渲染腿,只做叠加,不动视频信号。这条路的具体分岔与色彩域,下一篇讲。

三个槽位,后激活者胜

字幕来源有三路:内封轨、外挂文件、语音识别的产物。三路都往视图里送,但任一时刻只显示一路——三个槽位,后激活者胜,空窗不回落。选内封轨、挂外挂、识别出首行文本,任何一个动作都把当前胜者顶掉;胜者撤掉之后画面不会退回上一路——界面上,这是撤掉外挂之后字幕区安静,不会有内封轨突然接棒。

内封、外挂、识别三个槽位,后激活者胜

这个单胜者语义就是界面上「引擎完整渲染特效字幕,与外挂字幕互斥」那句话的机制来源。它不是个开关,是仲裁。

画布的尺寸有个工程取舍:超过 1080p 的片子,画布一律按 1920×1080 渲染,再由层内采样拉伸铺满——4K 画布每帧三十多兆,收进三分之一,肉眼几乎不可辨;1080p 以内则与帧一比一,不折腾。性能的量级也交代一句:纯文本的光栅化在 1080p 稳态下是每帧零点零几毫秒,特效字幕活跃帧的增量目标控制在几毫秒内,静止段零开销。队列也都有界:文本块每轨五百一十二块,PGS 画布帧按播放位置取、溢出丢最旧,字幕在任何情况下不会把播放拖住。

样式写在片源里,能调的只有全局

ASS 的字体、颜色、位置写在片源的脚本里,属于片源。脚本头是这件事的一半:样式定义、分辨率信息都在头里,对白事件只是往这些样式上挂内容,所以换轨时装载脚本头,是特效字幕能排起来的前提。按单一参数改样式的接口,对特效字幕和图形字幕是静默忽略的——想改,要从脚本层走:字号走排版引擎的缩放,立刻重排,不用重载字幕;再往外是整体缩放、位移、不透明度三个全局变换。外挂的纯文本用内置字体,字号随画面高度走。

编码是另一处看不见的边界。SRT 的乱码基本都是编码问题:GBK 被当成 UTF-8 读,就出一串菱形问号。链路上的策略是先做严格的 UTF-8 校验,不过再交给 GBK、GB18030 转码,顺手剥掉 BOM。图形字幕的 .sub、VobSub 不在支持面上;格式白名单是 ASS、SSA、SRT、mov_text、PGS。

三个只在真实片源里现形的事故

事故一,换轨必崩。有一类片子,切到内封字幕再切回外挂必崩,第二次切换整个卡死。拆出两条独立机理:切轨时在锁外析构排版引擎的覆盖层,渲染线程和 IO 线程还在锁内解引用它;画布层每次切换都摘掉再挂,触发整图重建,第二次重建时卡死在显卡驱动内部。修法两条:覆盖层状态改在锁内摘除、锁外析构,画布内容拷成稳定快照;画布层改成粘性,挂上之后播放期不再摘,没字幕时只清内容。

事故二,黄字变青。4K 蓝光原盘的 PGS 字幕位置偏、尺寸小,真因有两层:PGS 的坐标写在 1080p 的图形平面上,按 4K 帧像素 1:1 贴上去自然错位;调色板的通道序是蓝绿红排列,代码把低字节当红读,黄色渲染成了青色。这个错潜伏了很久,因为白字三个通道相等,看不出问题。修法是解码端按合成画布重采样,顺修通道序。

事故三,整行方框。苹果手机上中文字幕整行空心方框,同一帧里英文正常。方框数按字数长,不是按字节数长,定位到字体层:排版引擎在 iOS 上走系统文本框架找字形,缺字形的回退链指向一个沙箱里打不开的系统私有框架,每个字都落成没有字形。修法是在排版引擎初始化之前,把包内自带的字体喂给它,让它第一件事就拿到可用的字形来源。

引擎 avox 在 GitHub 开源:github.com/xxxzhou/avo…,这条链与这三个修复都在里面。

系列《从零做一个全平台播放器》按施工顺序发,本篇是 6.4。 上一篇:6.3 RTSP 点播 seek 后包时间戳不可信,第一个包当锚 juejin.cn/post/770801…