2022年市场上视频编解码器的对比分析

1,275 阅读10分钟

近些年来,我们流媒体工作者从唯一选择H.264到如今不少于七个选择。H.264VP9HEVCAV1VVCLCEVCEVC

我将对EVC做一个初步说明。与所有其他只有一个版本的编解码器不同,EVC有两个版本:基线和主配置文件。基线配置文件应该是免版税的,旨在取代H.264编解码器,而主配置文件是有版税的,旨在取代HEVC。 

说到版权费,我不会在本文中详述,因为它们对流媒体发行商的影响太小。

编解码器质量

视频编解码器的基本功能是尽可能有效地压缩视频。图1显示了每个编解码器的效率,与 "Stack Up "文章中的x265相比。所有常见的注意事项都适用;我为这篇文章测试了几个编解码器的实现,所以结果是针对该编解码器的实现,其他实现的结果会有所不同。此外,我没有在文章中测试VP9,但我发现VP9和HEVC在一些分析中的编码质量比较接近(Bitmovin也是如此)。

image.png 图1. 相对编解码器的效率。

在高水平上,VVC将比HEVC的效率高40%以上,紧随其后的是EVC Main profile和AV1。作为一个 "增强型编解码器",LCEVC的质量将因基础层而异;以x265为基础层,LCEVC的效率比x265高约22%。EVC基线配置文件被证明比x264的效率高得多,x264是该组中明显的落后者--对于一个2003年出厂的编解码器来说,这并不令人惊讶。H.264在最广泛的设备上有很好的兼容性,但在你传输的每一个流中都要花费大量带宽。 

作为最后的警告,即使AV1比HEVC的效率高38%,但这并不意味着你部署了它就能节省38%的带宽成本。请看《计算编解码器部署的收支平衡》,了解原因。 

 

编码成本

对较新的编解码器的一个重要担忧是,增加的复杂性将导致 "编码成本 "的飙升。图2显示了在 "流媒体文章 "中测试的编解码器的编码时间,我在之后添加了VP9。时间是以100%的x265时间为标准的。编码时间直接转化为运行自己的编码农场的公司的编码成本,并直接影响云编码成本。

image.png 图2. 显示的不同编解码器的编码时间,以x265的100%为标准

对于那些运行自己编码器的人来说,AV1的成本应该和HEVC差不多,比两年前记录的冰冷时间有了 "惊人的改善",而VVC的成本应该是HEVC的两倍。关于VVC的编码时间和成本,有很多 "恐惧、不确定和怀疑"(FUD)的说法,现在看来是没有道理的。 

EVC主配置文件是落后的,但对于我测试时只有几周的软件来说,大约8倍的速度是相当不错的。值得注意的是,以x265为基础层的LCEVC编码成本比x265低70%,而效率却高22%。味道很好*,而且*有更少的填充物!

 

image.png 图3. 实时编码/转码产品的时间轴

虽然是关于编码的话题,但让我们看看直播编码和转码硬件的时间线。一般来说,在敲定一个规范后,基于该规范的芯片组需要一年左右的时间才能上市,一年后才是实际的编码器。在接下来的一两年里,产品的选择是有限的,但在五年左右的时间里,编码器成为商品。 

图3将每种技术大致置于该采用周期内,H.264和HEVC是仅有的两个达到商品状态的编解码器。一两个硬件VP9转码器已经有几年了,但VP9直播市场从未起飞,而且很可能不会,因为大多数制造商现在都专注于AV1。

请注意,目前还没有公布EVC芯片组。就像所有的EVC--除了优秀的开源编码器之外--现场EVC编码和转码的市场可能永远不会起飞。

LCEVC可以与现有的硬件编码器和软件编码器一起有效运行,所以典型的硬件设计周期对它没有影响。点击这里,查看LCEVC的主要技术贡献者V-Nova在2022年的NAB上宣布的编码选项清单。  

VVC和AV1在2022年都有一到两个出货的编码器或转码器,证明了这个概念(而且开发商会理所当然地大声敲打公关鼓)。在2022年和2023年,可能会有少数金字塔顶端的广播公司考虑基于这些编解码器的直播或服务,但这些编解码器的直播大众市场要到很久、很久以后才开始。 

最大的直播例外是用于 "WebRTC "的AV1,这是一种基于浏览器的实时会议技术,H.264在VP9的影响下占据主导地位。对于一项曾经每分钟编码一帧的技术来说,包括Visionular和Cisco在内的几家供应商都声称有用于WebRTC的实时编码器。你可以期待在2022年和2023年看到很多这方面的信息。 

播放方面

推动编解码器采用的主要因素是它在哪里播放,而不是它的编码有多容易。要进入的最简单的播放市场始终是计算机和移动设备上基于浏览器的播放。提出图4所示的两个问题,以确定编解码器对这些设备的适用性。

image.png 图4. 确定编解码器对基于浏览器的播放的适用性

第一个问题是编解码器是否可以在没有硬件加速的情况下播放。如果答案是否定的,该编解码器将无法使用,直到硬件支持广泛可用,这需要四到五年时间。H.264、HEVC和VP9已经在移动设备和电脑上得到了广泛的硬件支持,尽管它们也能在没有硬件支持的设备上有效播放。 

AV1和LCEVC没有得到广泛支持,但在软件中有效播放,所以它们不需要硬件支持。这就是为什么YouTube、Netflix、Vimeo和其他流媒体制作者几年来一直在分发AV1流媒体,以及一些用于手机和机顶盒的服务使用LCEVC。有趣的是,在以弯道超车的方式成为AOMedia的 "创始成员 "后(在AOMedia实际成立27个月后),苹果公司在其任何平台上的硬件或软件仍然不支持AV1。

对于VVC,软件的播放取决于你问谁。在我对Fraunhofer VVC播放器的测试中,只用软件播放太慢,两个EVC配置文件也是如此。然而,VVC技术的几个贡献者,包括 "Tencent "和 "ByteDance "有令人印象深刻的试验,显示在移动设备上的播放非常有效。印度的一项服务宣称最早在2021年6月就会使用VVC。 

尽管如此,即使VVC在软件中播放,它也无法通过第二个测试。这个测试是浏览器或操作系统中的原生播放支持。VVC最终可能会在苹果操作系统和浏览器中播放,因为苹果拥有唯一支持HEVC的浏览器和操作系统,并拥有许多VVC相关的专利。然而,它可能永远不会在Chrome、Android或微软的操作系统中播放。 

谁会这样?尤其是微软和谷歌,它们是开放媒体联盟(AOMedia)的坚定成员和AV1的支持者。影响HEVC的 "AOMedia锁定 "可能会影响所有后续的基于MPEG的编解码器。作为一个实际问题,这意味着任何MPEG或类似的编解码器将永远不会被广泛部署到计算机播放,而只会部署在移动设备的应用程序中,在那里解码器和相关的版税更容易控制。  

 

硬件加速播放 - 移动

图5显示了每个编解码器在移动设备中的硬件播放支持方面的粗略状况。与编码器市场一样,采用周期大致如下:一旦规格确定,需要一年时间来实现芯片支持,再过一年基于这些芯片的产品就会出现在市场上。然后,这些产品的安装基础需要两到三年的时间,才能成长为一个与通用分销商相关的市场。当然,如果你经营一项专门的服务,同时控制编码器和解码器,通常是通过一个专门的机顶盒,一旦有了解码器,你就可以实现编解码。 

image.png 图5. 所列编解码器的移动硬件支持

如图5所示,H.264和H.265都被普遍支持,Android广泛支持VP9。苹果在2020年增加了对VP9的支持,所以这已经是第三年的部署了--尽管目前还不清楚这是硬件还是软件支持。无论哪种方式,VP9在目前大多数合理的平台上都能非常有效地播放。因此,它不需要硬件支持来实现实时播放或节省电池寿命。

如前所述,AV1和LCEVC在软件中有效播放,因此它们不需要硬件支持。AV1正处于该采用周期的第三年(只有少数手机有AV1硬件解码),但在移动芯片组中的支持却在不断增长。目前还没有宣布支持VVC的移动芯片组,这就把硬件加速的VVC支持推到了2026年或以后。据我所知,EVC几乎没有取得任何进展,所以时间线甚至还没有开始。

 

客厅的支持

image.png 图6. 智能电视机的硬件采用周期

图6显示了智能电视机的硬件采用周期,EVC同样处于 "未能推出 "的位置。VVC同时享有芯片组和一到两款支持的电视,将可寻址市场推到2026年及以后。AV1领先约一年,Netflix说在2021年开始向智能电视分发AV1流,尽管这些是SDR流。目前还没有宣布支持HDR 10+或DolbyVision的AV1,尽管一旦支持AV1的智能电视在2024年以上广泛部署,这两者都应该可用。

虽然智能电视广泛支持VP9,但不支持HDR10+或DolbyVision,所以主要用途是播放2K、4K和8K的YouTube视频--而不是高级内容生产商的视频。虽然LCEVC在一些智能电视上可能不需要硬件就能播放,但对HDR的支持也同样没有得到证实。 

目前,很少有高级内容制作者通过杜比视界或HDR 10+发布HEVC,他们会转回SDR,以节省AV1、LCEVC、甚至VVC的一小部分带宽。出于这个原因,当你看到一个智能电视平台支持一个特定的编解码器时,请检查基于动态元数据的HDR的可用性,这将是大多数优质内容的先决条件。