前几天响应社区的搬运活动，搬了几篇以前写的通信的数学原理和仿真笔记，都只是旧文、旧笔记。后面的博客应该都是偏向音视频了。这次译介一篇比较新的Streaming Media East会议上上关于VVC动态的演讲简报。
（接下来应该会再译介一些streamingmedia对编解码方案的质量评估文章。（
作者：Jan Ozer
原标题：The State of VVC Adoption and Implementation
讲演链接：The State of VVC Adoption and Implementation
原文链接：www.streamingmedia.com/Articles/Ed…
编译：谢林中路
编解码器的采用就像在整个城镇建立的缓慢发展。道路、雨水渠和污水处理系统进入并完成地块平整似乎需要很长时间。开发商创建一两个样板房以激发兴趣，但至少在前几套房完工之前没有人购买。喜欢冒险的先行者迈出了这一步，催生了更多的外行者，他们变成了买家，并产生了更多的移动货车和被践踏的院子。几个月或几年后，所有房屋都完工并入住;树木、灌木和花园正在生长;并且开发成为一个成熟的社区。
我最近参加了Streaming Media East的VVC小组讨论。你可能会想知道VVC在编解码器采用过程中处于什么位置。用房地产的术语来说，VVC已经有了绝佳的地理位置，包括道路、排水系统和污水处理系统，甚至已经有一两个样板房建好了。但不幸的是，大多数房屋还需要多年的时间才能准备好供人居住。
在这篇文章中，我将向您介绍这个小组的参与者，简要总结他们演讲的关键细节，并分享他们演示文稿的下载链接。请耐心阅读这篇篇幅较长的文章，您将更好地了解VVC的现状以及它何时将崭露头角。最后，我将分享一些关于这一切对AV1编解码器意味着什么的思考。
对于那些喜欢“太长不看”的人，我简要总结一下：如果您是一个视频发布商，而且在VVC专利列表中的排名不高，那么您很可能要等到2026年或更晚才会考虑采用VVC。如果您在此之前想要提高H.264的编码效率，您最有可能的选择是HEVC和AV1，也可以考虑LCEVC。但如果您是流媒体生态系统中的产品或服务提供商，那么早就该开始考虑VVC在何时何地适合您和您的目标客户了。
现在，让我们认识一下小组成员，并了解一下他们的演讲内容。
VVC 性能和标准化工作
第一位演讲者是InterDigital的技术副总裁Alan Stein，InterDigital是一家专注于无线和视频技术的研发组织。（您可以在此处下载他的演讲。）Stein首先概述了VVC的架构和新的编码工具，这些工具使VVC相对于HEVC在质量上有了40%的提升，而解码复杂度仅为HEVC的1.6倍。正如您将看到的，这意味着在早期VVC部署中，移动设备上可以实现高效的纯软件播放。
接着，Stein介绍了部署情况，部分如图1所示。图中的部署主要涉及到促进并加速VVC在未来设备中采用的应用标准。例如，纳入DVB工具箱意味着该编解码器可以在遵守DVB标准的地区或国家进行部署，这自然会加速VVC的部署进程。而被包含在ATSC标准中则意味着在某个时刻，当ATSC 3.0标准成为强制性标准后，美国和加拿大销售的电视越来越有可能支持VVC，再次加速了其部署进程。
图1.VVC在应用标准中的采用（来自Alan Stein）
其他标准简化了潜在的内容发布商和生态系统提供商对VVC的实施。例如，CTA WAVE内容规范用于为编码和播放器开发人员以及计算机、移动设备和客厅设备制造商制定兼容性测试，以确保当编码器生成VVC流时，它可以在所有可用的播放器上无缝播放，从而简化了内容发布者的部署。
所有这些都是我所提到的“基础设施”，当VVC被纳入更多标准中时，意味着未来将会有更多兼容的设备以及更快的部署速度。从测试和兼容性的角度来看，部署VVC变得越来越简单，这意味着推广的速度会更快，也会更具盈利性。这些都是很好的迹象，但也仅仅是如此。
VVC版税结构
接下来发言的是来自Volpe Koenig的专利律师Robert J.L. Moore，他讨论了两个与VVC相关的专利池、主要不参与专利池的专利拥有者、版税结构、需要支付特许权使用费的内容以及不需要支付的内容（详见图2）。摩尔指出，与HEVC一样，绝大部分的特许权费用将由设备制造商支付。至于内容方面，由MPEG LA和Via Licensing合并而成的Via LA池不对内容收费。而Access Advance池对VVC编码的内容收费仅适用于以物理媒体形式传送的内容，如光盘或U盘，这与Access Advance对HEVC采用的结构相同。如果您正在进行VVC编码的视频流传输，那么无论是按次付费还是订阅，都不会收取费用。
图2.两个VVC池及其各自的版税结构（来自Robert J.L. Moore）
摩尔还详细解释了Access Advance池的各种定价层，并指出同时许可VVC的Access Advance池许可证持有者只需为同时使用两种编解码器的设备支付额外25%的费用。此外，摩尔指出像高通这样的大型VVC IP拥有者既不在Access Advance池也不在Via LA池中，而是通过双边协议与设备制造商许可其知识产权。这种模式，即最大的知识产权拥有者直接许可，而较小的知识产权拥有者则加入池，对于大多数技术标准来说都很常见。
摩尔最后谈到了MPEG LA和Via Licensing之间的合并，他指出合并后的Via LA的所有权与Access Advance非常相似。据报道，他表示有人猜测Via LA可能会解散其VVC池，以促使市场走向由Access Advance拥有的单一VVC专利池。
VVC 播放状态
接下来，我谈到了在三个主要市场中的VVC播放支持：计算机、移动设备和客厅（bit.ly/VVC_Playback）。从我的社区示例来看，我应该最后谈及这一点，因为播放支持代表着出版商可以入住的已完成的住宅。如果没有播放支持，再多的基础设施也无法说服出版商采用新的编解码器。
在这方面，情况并不太乐观，但也不足为奇。具体来说，VVC规范于2020年7月完成，大约3年后，尚未宣布具有VVC播放或编码功能的计算机或移动设备的CPU、GPU或SoC。考虑到芯片和围绕它们构建的设备的开发周期，这意味着我们很可能要等到2024年中期至晚期才会看到第一批具备VVC功能的计算机或移动设备，而要到2-3年后才会看到硬件播放的市场达到可供投入使用的规模。
作为对比，AV1于2018年4月宣布，而在不到5年后的2023年1月，ScientiaMobile的一项研究报告称，移动硬件对AV1的支持仍然低于3%。不幸的是，硬件支持需要很长时间才能达到临界点，而且如果有任何因素的话，VVC似乎落后于AV1。
尽管缺乏硬件支持，但包括Kwai、字节跳动、腾讯和MX Player在内的几家软件公司似乎正在向移动设备提供仅CPU播放的VVC解决方案。图3展示了Kwai和字节跳动在2022年1月发布的令人印象深刻的播放统计数据。请注意，这两家公司都拥有为VVC做出重要贡献的专利，因此它们有动力加速VVC的部署。
图3.来自两个VVC利益相关者Kwai和ByteDance的移动设备播放统计数据令人印象深刻
此外，请注意，据报道，来自印度的MX Player和MX TakaTak向其已安装基础的最多20%提供VVC流。这两家公司都未被列为重要的知识产权持有者，因此部署VVC的动机可能仅仅是为了节省带宽。不管动机是什么，这些报告确实证实了InterDigital的Stein关于相对高效的VVC播放的说法。
在客厅中，集成电路的情况要明显好于计算机和移动设备，那里已经有来自联发科、瑞昱和芯原等多个现有的硬件解码器，事实上，2023年已经有几款支持VVC解码的电视上市（请参阅Tommy Flanagan的优秀文章）。就像HEVC一样，我们可能会在计算机和移动设备之前看到VVC广泛部署到客厅。
另一个关于客厅的观点是，当您的服务安装控制播放的机顶盒时，部署新的编解码器会容易得多。因此，我们有可能在看到VVC被用于移动设备和计算机的通用部署之前，就会看到一些全新的IPTV VVC部署。这些部署可能与本文后面描述的一些Ateme的VVC试验非常相似。
用于视频点播的编码和打包 VVC
这将引出我们的下一位演讲者，Bitmovin的首席架构师Igor Oreper，他介绍了VOD的编码和打包（他的演讲在 bit.ly/VVC_File_Package）。Oreper首先列举了一些最近宣布或已经可用的VVC编码器。他提到了两个开源版本，一个来自Fraunhofer，另一个来自JVET标准的VVC开发团队，以及来自MainConcept、字节跳动、腾讯、阿里巴巴、Ateme和Bitmovin的商业编码器。
Oreper表示，Bitmovin基于弗劳恩霍夫编码器实现了其云计算的部署，我在2021年曾对其进行过审查。他分享了图4中所示的图表，比较了VVC（红色）、AV1（蓝色）和HEVC（灰色虚线）的质量。HM和VTM编码器是由标准开发团队制作的参考编码器。它们以最高质量设置实现了所有可用工具，以表示该编解码器可用的最高质量水平。
图4.VVC 的可用 VOD 编码选项（来自 Igor Oreper）
如图 4 中的图例所示，越低意味着质量越好，左边意味着速度更快。该图表将两个版本的 VVC 定位为比 AV1 稍快且质量明显更高，比 x265 慢但质量要高得多。VVenC 编码器非常接近 VTM 参考编码器所代表的最高质量，编码时间要快得多。为了实现这些结果，Oreper报告说，VVC的计算需求是AVC的8倍，HEVC的4倍，AV1的2倍，这表明云服务的定价以及VVC内部生产的成本。
他最后指出，打包VVC进行分发将与AVC和HEVC非常相似，ISO-BMFF（又名MP4）和MPEG-2 TS格式以及AAC和MPEG-H音频编解码器都可用。DASH和HLS自适应比特率选项也应该相似，使用相同的格式用于字幕和字幕，使用相同的选项进行加密和DRM。考虑到InterDigital的Stein提到的标准和测试状态，以及这些封装方面的考虑，一旦目标受众存在，部署VVC应该是轻而易举的。
实时 VVC 编码
接下来的演讲者是Ateme的技术与标准总监Jan Outters，该公司从2020年开始使用VVC进行直播活动。他首先讨论了实施新编解码器所涉及的内容。正如您所期望的那样，当您拥有像Ateme的TITAN编码器这样先进的编码工具时，以前执行的许多预处理、分析和应用速率控制的工作都可以应用到新编解码器中。有趣的是，Oreper也有同样的感受，他评论说，当Bitmovin将Fraunhofer VVenC编码器代码整合到其云编码器中时，“一切都很顺利”。这表明对于基于软件的编码器，不论是直播还是VOD，实施VVC应该是直截了当的。
正如通常情况下的情况一样，VVC的直播结果与为VOD编码产生的结果并不完全相符，其中一张幻灯片显示，与HEVC相比，VVC产生了“8K的总体实际增益为20%”。Outters随后回顾了Ateme帮助制作的各种VVC试验，包括2020年6月的首次VOD广播试验；2020年11月的首次实时、低延迟试验；以及最近的法国公开赛试验，于2022年6月进行，涉及高通、法国电视台、LG、Orange、Enensys和Viaccess-Orca。
最近，Ateme与巴西的TV 3.0合作制作了2022年世界杯试验。在这次广播中，Ateme将4K HDR VVC编码视频与MPEG-H音频组合成15Mbps的流，以MPEG DASH格式分发，并在LG电视机上解码。
在他稍后的一张幻灯片中，Outters展示了可能加速欧洲VVC部署的逆风和可能减缓它们的顺风（见图5）。值得一提的是，他提到了DVB成员的浓厚兴趣以及VVC所带来的效率“飞跃”。而减缓部署的因素包括HEVC和AVC解码器的主要安装基础，以及HEVC效率的持续增加。他还注意到了一些相对较新或计划中的部署，涉及HEVC甚至AVC。正如前面提到的，尽管VVC的实施似乎是不可避免的，但这并不意味着我们会在短期内看到太多进展。
图5.影响欧洲VVC部署的逆风和顺风（来自Jan Outters）
VVC 和 HDR
当天的最后一场演讲由杜比科技、标准与行业合作副总裁帕特里克·格里菲斯（Patrick Griffis）主持，他讨论了VVC和HDR。（请查看帕特里克的演讲幻灯片。）格里菲斯首先回顾了HDR的起源，采用了深入的方法，包括我们的眼睛如何感知亮度和颜色。最终的结论来自图 6 中的数据，该数据通过实际影响人类视觉系统的程度以及以像素为单位的成本，对可用质量“改进”进行排名。正如您所看到的，增加动态范围对人类视觉系统的影响最大，并且与最低的比特率成本相匹配，增加颜色的影响略低于更快的帧速率，但从数据速率的角度来看更加高效。简而言之，HDR的两个要素，色彩体积和动态范围，在可察觉的改进方面提供了最大的性价比，这就是为什么在VVC中HDR如此重要的原因。
图6.按数据速率成本和视觉影响对质量改进方法进行排名（来自 Patrick Griffis）
后面的一张幻灯片指出：“VVC 从一开始就考虑到了SDR和HDR。‘HDR 现在是一等公民。’”实质上，这意味着HDR将从一开始就成为VVC播放器的一个功能。
关键要点
- VVC预计在VOD部署方面的效率将比HEVC高出40%以上，比AV1高出10%至15%。然而，对于实时部署，这些数字会较低。
- VVC部署的基础设施已经建立得很好，从实施的角度来看，应该相对顺畅。
- 移动和计算机硬件播放市场可能要等到2026年或更晚，才会足够大，以吸引大多数发行商的注意。
- 软件VVC播放相对高效，对于面向计算机或移动设备的发布商来说可能是一个选择。然而，从历史上看，只有像Meta这样的编解码器利益相关者才追求过这个选项；大多数独立的发行商则等待硬件支持。
- 客厅市场在移动/计算机市场和具有广泛HDR支持的VVC推出方面领先一两年。看起来VVC在客厅市场的成功将比通用部署早一些。
AV1呢？
人们很容易将编解码器世界视为零和游戏——如果VVC赢了，AV1就输了。但这种情况很少发生。开放媒体联盟（AOMedia）的成员拥有四个主要操作系统（Windows、Mac、iOS和Android）以及所有主要的浏览器（Chrome、Edge、Safari、Firefox）。它们在计算机和移动芯片领域占据重要地位（英特尔、AMD、NVIDIA）、移动设备市场（Apple、Google、Amazon、Samsung）、客厅领域（Samsung、Apple、Amazon、Google、Roku、Microsoft、LG）和内容产业（YouTube、Netflix、Amazon、Meta）。尽管苹果令人费解地缺乏对AV1的支持，以及大量与VVC相关的专利，但AV1不会很快退出舞台。
虽然VVC在效率上具有10%至15%的优势，并且被包含在许多电视标准中，但AV2也即将推出。即使在客厅市场，VVC的利益相关者似乎在某些地方压倒AOMedia的成员，特别是在中国，而且VVC的HDR优势确实很明显，但图7显示了销售到客厅市场的消费类产品制造商为什么必须支持VP9，并且很可能最终会支持AV1。这可以称为YouTube效应。
图7.为什么苹果支持VP9并最终支持AV1
图中的表格显示了YouTube如何编码《壮志凌云：獨行俠》的预告片，该预告片已累积超过3000万次观看。如图7所示，如果您上传的是4K视频，YouTube会将H.264编码限制在1080p，而在VP9（所有UHD视频）或VP9和AV1（最流行的UHD视频）中以更高的分辨率进行编码。因此，如果您制造智能电视、游戏平台、机顶盒或其他OTT设备，您必须支持VP9或AV1，以便您的买家可以以全分辨率看到汤姆·克鲁斯的著名微笑。这正是最终促使苹果支持VP9的杠杆。
YouTube不太可能在不久的将来放弃VP9编码，但在某一时刻——也许是在其基于第二代ASIC的Argos编码器与AV1搭载之后——YouTube可能会开始减少VP9编码，也许只在VP9中编码高达2K，而超过2K的则采用AV1编码。因此，AV1的支持可能会继续扩大。
此外，AV1在客厅中比VVC领先，尽管与AV1相关的HDR仍未得到验证。总的来说，展望未来，很难预测其他结果，除了会有一个双编解码器的世界：一个是基于标准的，另一个来自AOMedia。
