个人回顾
本系列更新至今,持续了一个月时间,内容可以总结为音频、视频数据的 解析 - 处理 - 合成,在浏览器中比较粗粒度地实现音视频编辑的主要环节,差不多是把 WebAV 项目 的原理讲完了。
讲解的知识否非常浅,目标读者是准备在 Web 平台进行音视频开发的新手;
这是我第一次进行高频率技术写作,将一个知识点讲得浅显易懂实在太难了,仍需要刻苦练习。
标题设定为“中期回顾”,是期望后续还有机会聊 Web 音视频相关更深更广的话题,比如推流、滤镜、转场等等。
WebCodecs 的价值
在本系列第一章中,提到了 WebCodecs 给 Web 补齐了缺失编解码能力;
于是在音视频的消费端,可实现更细致的控制,实现逐帧播放、缩略图等功能;
当然,最适合 WebCodecs 大展身手的领域应该是音视频的生产端,很多以前 Web 平台没法做、或者很难做的功能现在都成为可能。
谈 WebCodecs 价值当然离不开 Web 平台本身,Web 的诱惑在于互联、跨平台、低门槛;
Figma 是一个完美案例:设计师在线(跨平台)协同(互联)创作设计稿,交付给前端开发的是一个 URL(低门槛);
5 年前设计师甩给我一个 html zip 包,3 年前设计师让我去下载 zeplin,现在给我一个 Figma URL 可真是太美好了。
如果以 Figma 为模板来想像视频创作工具,那就是在网页中多人协同进行视频编辑,恰好已经有这样的产品 了。
再结合炙手可热的 AI 技术,视频创作门槛越来越低,可能会有大量的非专业用户,那 Web 应该是最佳的产品承载平台。
在直播领域,各平台的推流终端都少有 Mac 版,也有网页推流的跨平台实现(WebSocket 或 WebRTC),但受限于可控编解码能力的缺失,很难满足多样的产品功能诉求;
用 Electron + WebCodecs 实现完备的跨平台推流客户端,技术复用实现网页推流,也许是一个不错的技术方案。
WebCodecs 的挑战
虽然 Web 跨平台,但新特性都会面临兼容性问题,而且视频格式也非常多且杂,以及专利问题,一些编解码的格式可能是无法在 WebCodecs 中实现的。
如果是一个受众庞大产品,端云结合将是一个长期过程;
将一些计算量转移到端上以降低成本,为不支持的用户提供云端支持。
附录
- WebAV 基于 WebCodecs 构建的音视频处理 SDK
- scenery.video 多人协同网页视频剪辑产品
- 我维护的 B 站直播网页推流应用
本文使用 文章同步助手 同步