火山引擎支持 Pico 完成业界首场 8K 3D 实时互动 VR 演唱会

avatar
技术运营 @北京字节跳动科技有限公司

4 月 9 日晚,Pico 独家直播了 2022 王晰 “图景”个人巡回音乐会,这是业界第一场面向公众的 8K 3D VR 演唱会。作为技术服务商,火山引擎视频云提供了从 VR 采集推流、VR 编码优化、VR 云导播、虚拟现实特效叠加、全画幅 VR 高清低码传输到 VR 播放器的全链路能力。

Pico VR 直播海报

不同于以往的线上直播演出,Pico 独家直播的王晰 VR 音乐会为大家带来了全新的观演方式与视觉体验,180 度的 3D 机位、“1 排 1 座”的超近距离体验、8K 清晰度…… 让佩戴 Pico Neo3 设备进行线上参与的观众宛如进入现场音乐会,沉浸感十足。

据悉,这场突破与创新的 VR 演唱会推进之初存在着诸多难题。要想保证观感,实现“怼脸看演唱会”,当前的 VR 内容需要 8K 超高分辨率来保证播放画质。然而 VR 整体链路较为复杂,引入 8K 超高画质后,给采集、编辑和传输带来了较大的压力。比如 8K 全景视频相比 1080P,传输数据量级翻了 16 倍,码率疯长到数十甚至上百兆,超出用户家用 WiFi 的负载极限。

火山引擎视频云应用了 ROI 编码等多种组合算法,将码率压缩到 20Mbps 以下,率先解决了全画幅传输极致压缩码率对下行 WiFi 带宽的挑战,让用户可以全程流畅观看 8K 3D VR 演唱会。火山引擎视频云还基于 VR 体验特点,推动多种技术组合创新,实现了网络相机 8K 流和云导播打通、云导播 8K 实时切播,以及视频流的空间信息识别与空间特效的叠加等,并保障了直播全链的鲁棒性和低延迟。