MPEG & JCT-VC 标准演进介绍 | 多媒体标准 | 音视频

谢林中路
350 阅读6分钟

背景

音视频的广泛传播和流行，和标准的编解码格式（即音视频信号的通用表示方法）是分不开的。

由于不同行业、不同终端、不同厂商/行业、不同的使用要求，以及技术演进的原因，视频编解码的标准化有一系列的国际/行业标准。

视频压缩的标准主要有：

  • ISO/IEC-MPEG(Moving Picture Experts Group, 运动图像专家组)推出的MPEG-x系列
  • ITU-VCEG(Video Coding Experts Group, 视频编码专家组)推出的H.26x系列

MPEG与VCEG也组建了JVET( Joint Video Experts Team, 联合视频专家团队)/JCT-VC(Joint Collaborative Team on Video Coding, 视频编码联合协作小组)，推出联合标准

  • 国内AVS(Audio Video coding Standard，数字音视频编解码技术标准)系列
  • 谷歌主导的AOM(Alliance for Open Media, 开放媒体联盟)推出的AVx系列

img.png

图1.主流标准发展历程（图片选自万帅老师《新一代通用视频编码H.266VVC：原理、标准与实现》）

对于MPEG & JVET标准体系，除去知名的H.264/AVC、H.265/HEVC等框架外，国内似乎并没有对MPEG标准体系/工作项的比较系统的介绍。因而撰此小短文进行介绍，如有错漏，欢迎指正。

引用块代表碎碎念评注。谢谢阅读喵。

Work Items/Standardisation Areas

MPEG（Moving Picture Experts Group）是由ISO和IEC联合成立的工作组联盟（ISO/IEC JTC 1 / SC 29），负责制定媒体编码标准，并规定传输格式和文件格式。MPEG 包括三个咨询组 (AG) 和七个工作组 (WG)，每4个月举行一次会议。

MPEG所属的ISO/IEC联合技术委员会1（JTC 1）有100多个工作组，MPEG仅占所有JTC 1专家的1/10，产生的标准是JTC 1工作组平均数量的10倍

MPEG已制定的各个标准工作项如下：

工作项之间的差距很大，有些项目下面只有一个标准，有些、像MPEG4，有30多个标准。

各个标准的差距也很大，一些几十页，一些几百页，少数会上千页.而且一些标准可能会多次发布，像264应该更新到十几号版了。

  • MPEG-1：1992年发布，主要用于低比特率的视频和音频编码，包括视频编码（MPEG-1 Video）和音频编码（MPEG-1 Audio）。MPEG-1 Video被应用于VCD和早期的互联网视频。

    • MPEG-1 Audio Layer III ，即MP3.

  • MPEG-2：1994年发布，是MPEG-1的扩展版本，适用于广播电视和DVD 等高质量视频应用。MPEG-2包括视频编码(MPEG-2 Video)、音频编码(MPEG-2 Audio)和传输协议(MPEG-2 Transport Stream)，广泛应用于数字电视、卫星广播和DVD等领域。

    • MPEG-2 Part 7 AAC，1997年发布。

最开始的MPEG1和MPEG2，都是二十世纪末期比较有影响力的标准，VCD和DVD规范即形成于此。20世纪末还有关于数字电视制式的混战，即美国的ATSC和欧洲DVB，当然还有日本的模拟制式。在MPEG-2形成后，才算是让数字电视技术真正形成系统解决方案、把带宽降下来、真正能快速发展。

MPEG3 原计划是留给HDTV的，后来废弃了.

  • MPEG-4：1999年发布，是一种面向多媒体交互和互联网传输的编码格式。MPEG-4包括视频编码（MPEG-4 Video）、音频编码（MPEG-4 Audio）以及相关的多媒体对象编码、场景描述和交互性等技术。它支持低比特率和高压缩效率，适用于多媒体流媒体、视频通话和互联网视频等应用。

    • MPEG-4 Part 10 AVC/H.264，2003年发布。

工作项1-4，特点是有三位一体，即音频-视频-系统都会包括进标准中，但是后面的工作项不一定遵循这个规律

MPEG1-4还是按顺序发展过来的，后面就不一定了。可能一起成立，可能一起并行推进。很多只是一系列标准的集合，下面专门维护一系列标准。

  • MPEG-7：2001年发布，是一种多媒体内容描述标准，提供了一套描述多媒体内容特征、检索和描述的语义描述工具，用于实现多媒体内容的索引和搜索。这也为后续的多媒体内容描述和分析标准CVDS、CVDA打下基础，提供了特征压缩、检索的可能。

  • MPEG-21：2001年发布，是一种多媒体框架标准，旨在实现多媒体内容的交互和交换。它提供了一套描述和管理多媒体资源的工具和协议，支持多媒体内容的数字版权管理、内容交付和交互式体验等。

  • MPEG-5：专门维护的部分视频编码标准

    • MPEG-5 Part 1 Essential Video Coding (EVC) 基本视频编码
    • MPEG-5 Part 2 Low Complexity Enhancement Video Coding (LCEVC) 低复杂度增强视频编码

和H.266/VVC同时推进的一些标准。算是占据不同的生态位。

  • MPEG-A：多媒体应用格式规范，定义集成现有MPEG技术的应用程序格式。
  • MPEG-B：一些系统技术
  • MPEG-C：一些视频技术
  • MPEG-D：一些音频技术

B、C、D都是那些不适宜被纳入到MPEG1、2、4、7的通用技术、或者专用技术。

  • MPEG-E：多媒体中间件与API
  • MPEG-G：基因组信息表示

  • MPEG-H：高效编码与多媒体体验增强技术

    • MPEG-H Part 2 HEVC/H.265，2013年发布。

  • MPEG-I：沉浸式媒体表示

    • MPEG-I Part 2 OMAF，2017年发布。
    • MPEG-I Part 3 VVC/H.266，2020年发布。
    • MPEG-I Part 12 MIV，2023年发布。
  • MPEG-M：可扩展中间件
  • MPEG-U：富媒体用户界面
  • MPEG-V：媒体背景和控制、虚拟体验交互

  • MPEG-AI：人工智能技术项目

    • MPEG-AI Part 3 VCM 机器视频编码
  • MPEG-MAR：和图形学工作组 SC 24/WG 9 合作开发的混合和增强现实参考模型
  • MPEG-DASH：动态自适应流媒体传输

这里除了DASH，其他也不是很著名啦。意思意思，作为一篇总结文，提一下，，

  • MPEG-CICP：编码码位规范
  • MPEG-IoMT：媒体物联网

其实也不难为这些各种标准分类，其实MPEG的工作范围就是：媒体编码、系统与工具、以及一些相关的或者媒体之外的东西。

标准化工作的流程

制定测试模型/征集提案Proposa

-> 形成工作草案 Working Draft (WD)

-> 形成委员会草案 Committee Draft (CD)

-> 形成国际标准草案Draft International Standard (DIS)

-> 最终草案 Final Draft International Standard (FDIS) & 出版

image.png

图2. 标准化工作的流程（图片选自MPEG前主席Chiariglione的博客 How does MPEG actually work?

相关参考：

TODO：

  • 介绍一下标准前沿动态
  • 介绍一下其他标准体系的技术演进
avatar
文章
阅读
粉丝