音视频基础介绍

465 阅读11分钟

视频编码 - video codec:通过特定的压缩技术,将某个视频格式的文件转换成另一种视频格式文件的方式。因为高清视频的电信号所占空间巨大,所以使用特定的算法将人眼识别不了或不敏感的信息去掉。其中最重要的两个是 H26x 系列标准和 MPEG 系列标准。

封装格式 - container format:在视频术语中,容器格式是一种文件格式,包含由标准化编解码器压缩的各种类型的数据,定义视频,音频和其他数据如何存储在容器中。 简单来说,容器就像一个包含视频、音频、字幕和元数据的盒子。

一、视频封装格式

常见的视频封装格式有 .mp4/ .flv/ .rmvb/ .mkv/ .mov/ .avi/ .wmv/ .asf/ .3gp等,这个只能算作一种封装标准

  • MPEG1(.DAT/ .MPG)

其中DAT主要用于VCD,VOB则是MPEG2算法编码的文件的存储方式,通常用于DVD。

  • AVI (.avi)

是英语Audio Video Interleave(“音频视频交织”或译为“音频视频交错”)的首字母缩写,由微软在1992年11月推出的一种多媒体文件格式,用于对抗苹果Quicktime的技术。现在所说的AVI多是指一种封装格式。它支持很多种编码方式:Xvid、WM、H.264、MPEG等。

常见的组合有:* (DivX或XviD+MP3).avi,* (H.264+MP3).avi* (WMV9+MP3).avi

  • ASF (.asf)

Advanced Systems Format(原名“Advanced Streaming Format”,.asf),微软的一个与Windows Media Player相关联的流媒体格式, 目的是解决AVI格式在流传输上的不足。

  • WMV (.wmv)

微软的对应WMV标准的封装格式

  • QuickTime ( .mov)

苹果设备专用,不用多说了

  • MPEG (.mpg / .mpeg)

基于MPEG-1/MPEG-2/MPEG-4系列标准的封装格式

  • MP4 (.mp4)

全称MPEG-4 Part 14,是一种使用MPEG-4的多媒体电脑档案格式,副档名为.mp4,以储存数码音讯及数码视讯为主。

  • m2ts (.m2ts / .mts )

是一种视讯档案格式(container)可支援多工的影音流. m2ts架构于MPEG transport stream 以及著名的 BDAV MPEG-2 transport stream.[1][2][3] 这种档案格式多支援于高清的 Blu-ray Disc 与 AVCHD.

这是最新的MPEG-4架构中的封装格式,很可能会成为下一代的主流方式

  • Matroska (.mkv / .mks / .mka )

Matroska是一种新的多媒体封装格式,这个封装格式可把多种不同编码的视频及16条或以上不同格式的音频和语言不同的字幕封装到一个Matroska Media档内。它也是其中一种开放源代码的多媒体封装格式。

  • Ogg

是一个自由且开放标准的容器格式,由Xiph.Org 基金会所维护。Ogg格式并不受到软件专利的限制,并设计用于有效率地流媒体和处理高品质的数字多媒体。“Ogg”意指一种文件格式,可以纳入各式各样自由和开放源代码的编解码器,包含音效、视频、文字(像字幕)与元数据的处理。

  • RM ( .rm / .rmvb)

Real 公司

二、视频编码格式

  • MPEG4

MPEG4编码格式的文件的特性为:文件的封装格式为avi(也即文件名后缀为avi),文件的视频格式为MPEG-4 Visual(简称MPEG-4 ),视频编解码器为Xvid或DivX(有时显示为DX50(DivX 5))

  • DIVX:1998年微软开发了第一个在PC上使用的MPEG-4编码器,其中的MS MPEG4V3系列的编解码能力都非常不错。但微软却将这个MS MPEG4V3 的视频编码内核封闭在Windows Media流媒体技术上,也就是说仅仅应用于ASF文件。这招不仅导致ASF不能充分传播和占领主流市场,更引起了一帮黑客破解了MPEG4 V3。经过这帮黑客的修改,DivX诞生了。DivX格式也就是DVDrip格式,它在采用了MPEG4的压缩算法同时又加入了MP3的音频技术。使用DivX技术对视频图像进行压缩,再用MP3或AC3编码对音频进行压缩,然后将视频、音频、外挂字幕等文件合成而形成的视频格式。最终结果是,使用DivX技术压缩的视频文件具有直逼DVD的质量,而体积只有后者的数分之一。
  • XVID:说到XviD,我们不得不提到前面的Divx格式,后者虽然从微软MPEG4 V3发展而来,但也不是一个完全开源的技术标准。所以原先的部分人马开始了另外一种途径,重新发展XviD格式,从名字就看出,XviD是Divx倒过来的写法。XviD从Divx的基础上改进而来,具有强大的可调节性,可设置很多选项,针对不同电影进行不同的压缩方式。更重要的是,XviD是完全开放源代码,所以有很多人投入到XviD的开发之中,在这点上,XviD格式比起Divx格式有很大优势。
  • DIVX,XVID:它可以说是对上挑战DVD,对下挤压SVCD,DIVX-MPEG4对DVD和SVCD造成的威胁不容忽视(有人说它是 DVD 杀手),它由 Microsoft MPEG4v3 修改而来,使用MPEG4 压缩算法。据说MPEG4 是美国禁止出口的编码技术,用它来编码、压缩一部DVD只需要两张CD-ROM!这样就意味着,你不需要买昂贵的 DVD ROM 也可以得到和它质量差不多的视频节目了,而这一切只需要你有 CD-ROM。播放(解压缩)MPEG4编码,对机器的要求也不高,CPU只要是300MHz以上,再配上64MB的内存和一个有8MB显存的显卡就可以流畅地播放了。对播放软件方面的要求就更宽松,你只需要安装一个500K 大小的MPEG4 编码驱动后,用Windows自带的媒体播放器就可以流畅地播放。XVID与DIVX实际上是同出一源,都是根据MPEG4V3修改而来,不过由于DIVX在版本5之后不在开放源代码,因此有部分程序员将DIVX 3.11改进后成为XVID。DIVX和XVID的另外一个特点是可以外挂字幕和AC3音频源,这样就可以在近似于DVD的画面质量的基础上,享受到DVD的音效,同时还可以自己选择字幕,给了用户很大的自由度。
  • H.264

H.264仅仅是一个编码标准,而不是一个具体的编码器,H.264只是给编码器的实现提供参照用的。

  • H.265(HEVC)

新一代的编码格式,相对于H.264,最大的优势是就拥有更高的压缩率,参见blog.csdn.net/mazhitong10…

  • H.261标准通常称为p*64,H.261对全色彩、实时传输动图像可以达到较高的压缩比,算法由帧内压缩加前后帧间压缩编码组合而成,以提供视频压缩和解压缩的快速处理。由于在帧间压缩算法中只预测到后1帧,所以在延续时间上比较有优势,但图像质量难以做到很高的清晰度,无法实现大压缩比和变速率录像等。

  • H.263的基本编码方法与H.261是相同的,均为混合编码方法,但H.263为适应极低码率的传输,在编码的各个环节上作了改进,如以省码字来提高编码图像的质量,此外,H.263还吸取了MPEG的双向运动预测等措施,进一步提高帧间编码的预测精度,一般说,在低码率时,采用H.263只要一半的速率可获得和H.261相当的图像质量。

  • MPEG1:其实就是VCD编码格式。制定于1992年,它是针对1.5Mbps以下数据传输率的数字存储媒体运动图像及其伴音编码而设计的国际标准。也就是我们通常所见到的VCD制作格式。使用MPEG-1的压缩算法,可以把一部120分钟长的电影压缩到1.2GB左右大小。这种视频格式的文件扩展名包括.mpg、.mlv、.mpe、.mpeg及VCD光盘中的.dat文件等。技术特点:MPEG-1制定于1992年,可适用于不同带宽的设备,如CD-ROM、Video-CD、CD-i。它的目的是把221Mbit/s的NTSC图像压缩到1.2Mbit/s,压缩率为200∶1。这是图像压缩的工业认可标准。它可针对SIF标准分辨率(对于NTSC制为352×240;对于PAL制为352×288)的图像进行压缩,传输速率为1.5Mbits/s,每秒播放30帧,具有CD音质,质量级别基本与VHS(广播级录像带)相当,也被用于数字电话网络上的视频传输,如非对称数字用户线路(ADSL),视频点播(VOD),以及教育网络等

  • MPEG2:DVD编码格式。比MPEG1强,与MPEG1一样,已经落后的编码格式,压缩率都不高,编码后的文件体积大,多用于希望把网上下载的文件转换为VCD或DVD碟的时候。MPEG2:技术特点:MPEG-2制定于1994年,设计目标是高级工业标准的图像质量以及更高的传输率。MPEG-2所能提供的传输率在3MB-10MB/s间,在NTSC制式下的分辨率可达720×486,MPEG-2能够提供广播级的视像和CD级的音质。MPEG-2的音频编码可提供左右中及两个环绕声道,以及一个加重低音声道和多达七个伴音声道。MPEG-2的另一特点是,可提供一个较广范围的可变压缩比,以适应不同的画面质量、存储容量以及带宽的要求。

    • 应用范围:MPEG-2技术就是实现DVD的标准技术,现在DVD播放器也开始在家庭中普及起来了。除了作为DVD的指定标准外,MPEG-2还可用于为广播、有线电视网、电缆网络以及卫星直播提供广播级的数字视频。MPEG-2:制定于1994年,设计目标为高级工业标准的图像质量以及更高的传输率。这种格式主要应用在DVD/SVCD的制作(压缩)方面,同时在一些HDTV(高清晰电视广播)和一些高要求视频编辑、处理上面也有相当的应用。使用MPEG-2的压缩算法,可以把一部120分钟长的电影压缩到4到8GB的大小。这种视频格式的文件扩展名包括.mpg、.mpe、.mpeg、.m2v及DVD光盘上的.vob文件等。
    • 技术特点:MPEG-4 于1998 年11 月公布,它不仅是针对一定比特率下的视频、音频编码,更加注重多媒体系统的交互性和灵活性。这个标准主要应用于视像电话、视像电子邮件等,对传输速率要求较低,在4800-64000bits/s之间,分辨率为176×144。MPEG-4利用很窄的带宽,通过帧重建技术、数据压缩,以求用最少的数据获得最佳的图像质量。
    • 应用范围:经过这两年的发展,现在最热门的应用是利用 MPEG-4 的高压缩率和高的图像还原质量来把 DVD 里面的 MPEG-2 视频文件转换为体积更小的视频文件。经过这样处理,图像的视频质量下降不大但体积却可缩小几倍,可以很方便地用 CD-ROM 来保存 DVD 上面的节目。另外,MPEG-4在家庭摄影录像、网络实时影像播放将大有用武之地。
  • RM,RMVB:RM和RMVB是REAL公司出品的一种音视频编码格式,同时也是这种格式编码的文件的存储方式,其中RM是恒定码率的,而RMVB是可变码率的。REAL编码的特点是在尽可能低的数据率上实现尽可能高的画面质量,尤其是RMVB,在450K的码率的时候就可以实现相当清晰的画面质量,缺点是音频质量比较一般,同时画面细节损耗比较高,尤其是亮度部分,所以RM和RMVB的电影通常会给人画面比较暗的感觉。

三、视频播放原理

参考文档: