车道按输出方式分:一条直通,其余进管线
同一部 HDR 片子,在真 HDR 屏和普通屏上走的是两条完全不同的路:直通把硬解帧直接交给平台原生渲染,全链不做图像处理;其余场合——普通屏的色调映射、加滤镜、做增强——硬解帧和软解帧都进 Vulkan 管线。这篇讲车道为什么按输出方式分、各平台直通前要过哪几道关、峰值逐帧怎么算,以及播放中换屏时意愿与实态怎么管。
HDR 直通输出是呈现必需:硬解帧直接交平台原生渲染,全链不做任何图像处理,高位深信号不穿过处理链。其余一切需要处理的场合——HDR 片在普通屏上做色调映射、加滤镜、做增强——硬解帧和软解帧都进 Vulkan 管线,画质增强那一套也只存在于管线里。两条车道全平台同构。
直通必须绕开 Vulkan 有个硬理由:硬解出来的 10 位帧要进管线,得先经平台渲染器转成 8 位的对接面,HDR 的高位深在第一步就折损了。还有一层是载荷不可侦测——色调映射完的标准帧和 PQ 码流在字节层面都是 0 到 1 之间的数,分不出来,所以车道只能由宿主显式声明,引擎里叫 HdrMode:跟随、强制标准、强制直通三种,渲染层不从数据猜。
直通要过三层关:屏、系统开关、宿主意愿
受理直通之前要过三层:显示器得有能力(Windows 用新一代输出接口探,PQ 那一档不支持就不直通;Apple 看屏幕的头距),系统的 HDR 开关得开着,宿主的意愿得给了。三层都过才翻,翻不下来就留在管线那条车道,色彩正确性由色调映射兜底。
Windows 上,硬解出的 P010 经计算着色器写成 10 位 RGB 的 PQ 码,交换链先声明 PQ 色彩空间,再把静态元数据交给系统。这里的要害是「意愿」与「实翻」分离:宿主只设一个意愿位,真正翻转交换链 HDR 状态的是渲染线程在下一帧执行,失败即回滚;被拒、早退、重建,任何一条路都必须把意愿位清零。还有一个教训写进了注释:声明色彩空间不等于屏幕真的听了——显示能力要先行判定,否则声明会成功,画面却是错的。
Apple 一侧,硬解的像素缓冲直接进 Metal 着色器,不落 8 位中间格式;呈现层是开了 EDR 的 Metal 层,着色器直接输出线性值,1.0 定义为标准白(约 100 尼特),高光可以大于 1,由系统合成器按这块屏的头距顶出真实亮度。受理直通有门槛:屏幕头距要大于 1,苹果两家同一道门槛,iOS 侧还要系统版本支持;不达标一律按标准屏走。
Android 上目前只有色调映射,没有直通。系统本身支持 HDR 呈现,缺的是渲染桥这一层——EGL 还没有 HDR 呈现面的实现。
普通屏上,峰值逐帧算
多数人看片用的是标准屏,这条链决定观感。核心是把「压到多亮」做成逐帧的决策:峰值亮度优先取杜比 L1 的逐帧值,没有就退到 HDR10 的最大内容亮度,再退到最大亮度,最后兜底一千尼特。处理链是 PQ 进线性域,锚点软压(近似线性透传、超锚按内容峰值软压),再从宽色域收到标准色域,套回输出曲线出画面。峰值经统一缓冲逐帧喂给着色器——明暗切换快的场景不吃亏。
杜比和 HDR10+ 的元数据走解码器无关旁路
杜比的动态元数据是每帧一小段改色指令,FFmpeg 不导出它的解析符号,相关源码引进仓里自己编。元数据提取做成解码器无关的旁路:在喂包处自己认出那几类 NAL 与 SEI——这一步不解码也能做,所以硬解腿和软解腿拿到的是同一份元数据,谁也不偏。杜比 P5 的整形语义对着开源实现的处理链做,在着色器里完成整形再进色彩转换。有个坎:P5 的容器不带色彩标签,按容器默认处理会整片欠色调映射,所以杜比链的输出恒按 PQ 消费,不看容器标签。HDR10+ 的动态元数据走 T.35 SEI,按位语法解析后取 L1 峰值,与杜比 L1 同路进色调映射。
逐帧消费是不是真的在逐帧,肉眼判不了,靠的是判别性素材:同一个画面只改 L1 峰值,一组等于内置静态元数据(应当看不出差异),一组把峰值压到很低(必须压得动);判定用逐帧亮度均值差过门限,不看图。两条硬解腿实测端到端一致,「逐帧」才算坐实。
播放中换屏:意愿和实态分开管
HDR 是运行时状态,不是安装时配置:播放中把窗口挪到另一台显示器、拔掉 HDR 屏、系统里关掉 HDR,都要能应对。在两条渲染车道之间换道,不是重建整条管线:把呈现面从一条腿拆下来,换到另一条腿再挂回去,播放不断。意愿与实态分离的结构就是为这个铺的,配上几秒一次的自愈重发。翻车案例都在竞态上:重建交换链时,位深、色彩空间、元数据被驱动静默重置,画面发灰,修法是重建之后立即重挂全套状态;跨屏迁移后设备重建清了实态、意愿位没清,重发又被能力闸拒绝,直通面被架到标准屏上,亮度压了色域没压,整片品红——被拒的路径不清意愿位,这个环就解不开。还有一次整屏黑,是换道收尾时宿主呈现层的尺寸被写成了一像素,修复落在宿主侧:换道收尾催宿主重跑一次布局。
标准片在 HDR 屏上默认按标准呈现,不做上变换。这是明确的取舍:引擎在这条路上零实现,收益存疑的画质冒险不如不做。
引擎 avox 在 GitHub 开源:github.com/xxxzhou/avo…,两条车道与三条处理路都在里面。
系列《从零做一个全平台播放器》按施工顺序发,本篇是 6.7。 上一篇:6.6 音轨切换关链重挂再重定位,字幕轨切换只换路由 juejin.cn/post/770928…