单通道装不下逐像素颜色,换成 RGBA
字幕混合是播放器里很薄的一层:不管字幕来自排版引擎、位图解码还是文本光栅化,出引擎时都是一块画布,只做一次混合。薄在这一层,难也在这:它得替所有格式扛下颜色与清晰度。这篇讲画布为什么从单通道换成 RGBA、缩放落在 CPU 还是 GPU、四个后端各自还剩多少活,以及 HDR 直通态下画布怎么切域。
最早的文本字幕这么走:字形光栅化成灰度,blit 进一块单通道画布,内容变了才上传,GPU 侧一条固定的 pass,按一个全局颜色和不透明度混上去。单通道里装的是字形边缘的覆盖度,也就是抗锯齿那一圈的值;颜色不在画布里,是一条全局单色。对一屏一个字号一个颜色的纯文本,这够用。
不够用的也明确。特效字幕的描边色和填充色不是同一个色,还有逐事件的淡入淡出;图形字幕更彻底,每个像素的颜色都可能不一样。这两样,一个通道都表达不了。画布统一换成了 RGBA:每个生产者直接出预乘过的画布,按内容包围盒裁剪——一句对白通常只在底部占一条横带,不传全帧。
预乘埋过一个不显眼的坑:改透明度只动了 alpha,颜色没跟着乘。预乘语义下颜色分量已经乘过 alpha,只动 alpha,半透明就发白发亮;改透明度必须连颜色分量一起乘。上传量也随之上来:识别的部分结果约一百毫秒一次,底部横带一块 RGBA 是单通道时代的几倍;好在文本只在内容真变了才重排加上传,静止段零上传。
缩放的账:文本在 CPU,轨道在 GPU
清晰度全看缩放在什么尺寸上算。文本这条走 CPU:实际字号按帧高和用户缩放折算,字形直接在这个目标尺寸上光栅化,边缘那一像素的抗锯齿覆盖度是按新像素重新算的。放大两倍,轮廓仍是一条干净的一像素边。
轨道这条(ASS、PGS)只能走 GPU 重采样。画布尺寸由片源和排版引擎定,不能像文本那样重排;位图字幕连「按新尺寸重来一遍」都没有。做法是给画布算一个把内容拉到目标位置和大小的映射,反算出采样点;缩小之后采样点会跑到画布外,越界要显式丢弃。
两侧不能同时做。文本槽已经把缩放、位移、不透明度吃进了字号、位置和 alpha,层侧就只下发单位值;两边各做一遍,等于缩放了两次。轴心也有差别:文本围绕对齐锚点缩,轨道用帧中心,只是同一时刻两个槽不同屏,所以看不出来。
后端只剩一百多行:上传、着色器、挂接点
图层接口是后端中立的:更新画布、清空、下发变换、报告内容失效。图层会随图重建换指针,内容却不能跟着丢——收在一个稳定前端里的是这样几样:变换的权威副本、建图期到达的更新先暂存、内容失效信号。重建一发生,图层指针换新,前端把暂存的变换补发给新图层,失效信号让视图重新上传画布,字幕不断档。几个后端复用这同一份前端。
于是每个平台剩下的只有三样:纹理上传调用、二十到三十行的混合着色器、管线挂接点,一个后端一百到两百行。平台腿只干一件事,把画布混到画面上,它不需要认识任何字幕格式。
两条边界要守。一是喂 Vulkan 的那条 lane 上不能再叠字幕,否则会出双字幕,还会把字幕叠在增强之前、被当成画面一起重采样。二是图重建在这条链上是常态——改分辨率、软硬解切换、开关水印、第一次挂层都会触发,一次重建把图层节点连同它们的 CPU、GPU 资源一起丢掉,所以变换必须存在常驻前端并在重建后补发,内容要有一个失效信号让视图重新上传,否则字幕会一直消失到下一次内容变化。画布层本身是粘性的,挂上之后播放期不再摘,没字幕只清内容。
上传的时机也有讲究。每次更新画布都带一个内容序号,视图按序号去重,序号没动就不重传——同一句对白在屏上停三秒,只有第一帧真正上传。字幕来源不同,序号的域也不同,槽位切换时归零重来。
HDR 直通时,画布跟着切域
普通输出里,画布跟着画面在 Vulkan 管线里合成,标准色域,标准伽马——字幕与画面走同一趟处理,混合发生在管线的图层上。HDR 直通输出时,视频信号绕开管线直接交平台原生渲染,画布跟着切到平台腿,这时三个域各有各的做法:标准伽马域就是平时的那块画布;PQ 码域用 CPU 预编码好的画布——在 CPU 侧把 RGBA 画布按 PQ 量化,标准白对应到 PQ 域里的那个码值,alpha 通道不过量化表,混合代码与标准域完全同一条;十六位浮点的线性域在着色器里先线性化再乘参考白——参考白回答的是「线性 1.0 对应多亮」,取 203 尼特,这是标准白在 PQ 域里的量化位置;而 Vulkan 一侧把 1.0 记作 80 尼特、Metal 一侧记作 100 尼特,同一份契约里各平台记各的白,字幕跟着各自的车道走。输出域翻转时置一次内容失效,强制重传。
平台腿要写的混合代码,不管哪个域都是二十来行:采样画布、按预乘公式混上去。域的差别全部收在画布的形态与着色器开头那几行换算里,契约本身不动。
引擎 avox 在 GitHub 开源:github.com/xxxzhou/avo…,画布、稳定前端与四个后端都在里面。
系列《从零做一个全平台播放器》按施工顺序发,本篇是 6.5。 上一篇:6.4 特效位图文本三类字幕,汇到一块画布一个胜者 juejin.cn/post/770860…