一. 视频的原理
医学证明人类具有视觉暂留的特性，人的眼睛看到一幅画或一个物体后，在0.1-0.4秒内不会消失。所以利用这一原理，在一幅画还没有消失前播放下一幅画，就会给人造成一种流畅的视觉变化效果。而我们所谓的视频，其实就是利用人类视觉暂留的特性，用摄像机连续拍摄一系列画面，快速播放，给人一种连续的错觉。 这里的一张张画面，我们称其为帧。 图像领域定义的FPS(Frames Per Second)，即每秒传输帧数，就是每秒图片播放的数量。FPS越大，视频看起来就越流畅。
二. RGB 和 YUV
我们在计算机上看到的图像都是具有颜色信息的，那么计算机是如何存储和表示颜色信息呢？
1. RGB
RGB， 也就是红（Red）、绿（Green）、蓝（Blue），被称为光的三原色，也是计算机的三原色，通过不同的比例，可以组合成各种颜色。
计算机在使用RGB记录图像颜色信息时，会分别记录R/G/B三种颜色的亮度，并且相互叠加来实现具体颜色的显示，所以也被成为加色混色模型。
2. YUV
YUV， 起源于电视显像系统。 我们应该知道，早起的电视都是黑白的，没有颜色信息，所以只需要记录亮度即可。YUV中的Y就表示亮度。 随着电视的发展，诞生了彩色电视机。这个时候，单单记录亮度信息就不够了，人们就在黑白电视的基础上，增加了色度信息，也就是我们的UV，来实现彩色图像的显示，并且兼容黑白电视机。
U是指亮度Y与蓝色的色差。 V是指亮度Y与红色的色差。
-
YUV常用的采样
-
YUV 4:4:4：表示每1个Y，对应一组UV；
-
YUV 4:2:2：表示每2个Y，对应一组UV;
-
YUV 4:2:0：表示每4个Y，对应义序UV。
-
可以参考下图：
3. YUV 与 RGB
- 存储
无论使用RGB还是YUV，它们的每一种分量值都是用0~255来表示。 计算机的一个字节有8位，使用二进制来存储，刚好可以表示0~255。
如果使用RGB来存储4个像素的颜色值的话，如下图，需要 8 * 3 * 4 = 96 Byte ，也就是12个字节。
如果使用YUV 420，存储方式如下图，只需要 8 * 4 + 8 + 8 = 48 Byte， 也就是6个字节。
相比之下，YUV420 比 RGB 整整生了一倍的存储空间。所以在视频中，大多会使用YUV420来进行采样。
二. 为什么要进行视频压缩
我们知道，视频是由一帧一帧的图像组成。 假设我们有一个视频，视频的每一帧图像尺寸为1280 * 720，FPS为30。
若采用RGB格式进行采样，不计算Alpha通道（透明度）的话，每秒视频的大小是 3 * 1280 * 720 * 30 = 8294400 字节，也就是81000KB，79.1M左右。
即便是采用YUV 420,也需要 1.5 * 1028 * 720 * 30 = 4147200 字节，即40500KB，39.5M左右。
而我们的视频动辄1~2个小时，那数据量无法想象。
所以，还需要进一步压缩，而H264就是目前最主流的压缩方式。
三. H264压缩原理
1. 帧内预测压缩
解决的是空域数据冗余问题。 空域数据就是一幅图像中存在的很多颜色、光亮等人的肉眼很难察觉的数据。 这部分数据，可以直接压缩。
2. 帧间预测压缩
解决的是时域数据冗余问题。 时域数据就是我们视频的一定时间内，我们每帧画面之间会存在大量的重复信息（如背景等），这部分数据称之为时域数据。这些数据也可以进行压缩。
3. 整数离散余弦变换（DCT）
将图像数据通过傅里叶变换，转化为若干正弦波。 若在频率上没有一致性，则将它们压缩
4. CABAC压缩（无损压缩）
四. H264基本概念
1. I帧（关键帧）
上面我们提到过，在一定的时间内，视频的每一帧之间的变化是很微小的。所以，我们一般会取第一帧数据作为关键帧，并采用帧内预测压缩。 后面的帧就可以参考关键帧来进行还原，所以关键帧非常重要。
2. P帧（向前参考帧）
我们有了I帧，后续的帧就会向前参考I帧，值存储于前一帧的差异，属于帧间预测压缩。
3. B帧（双向参考帧）
即参考前一帧，也参考后一帧。 但是由于B帧是双向参考，所以在实时性要求比较高的应用中，可以舍弃B帧。
4. GOF（Group Of Frame）
是指从一个I帧到下一个I帧的一组帧，包括了P帧和B帧。如下图所示。
5. SPS/PPS
SPS和PPS是GOF的描述信息
-
SPS（Sequence Parameter Set） GOF的序列参数集，包含帧数、解码后图像的宽、解码后图像的高、参考帧数目等等信息。
-
PPS（Picture Parameter Set） GOF的图像参数集，包含熵编码模式、片组等与图像相关的信息。
解码时，在收到一组GOF前，我们会先收到SPS和PPS数据，如果没有SPS和PPS，我们的解码操作将无从下手。
五. H264 结构
从图中我们可以看到，H264视频压缩后会形成一个视频序列，一个视频序列分为若干帧图像，一帧图像又分为若干片，至少包含一个片，一个片分为若干宏块，一个宏块由若干子块组成。
-
帧:视频的一帧可用来产生一个编码图像。
-
片(Slice):在每个图像中，若干个宏块被排列称片的形式。 片又分为I片、B片、P片和其他一些片。
- I片值包含I宏块；
- P片可包含P宏块和I宏块；
- B片可包含B宏块和I宏块；
- I宏块利用当前片中已解码的像素作为参考，进行帧内预测；
- P宏块利用前面已解码的图像作为参考图像，进行帧内预测；
- B宏块利用前一帧和后一帧的图像进行帧内预测；
- 片的目的是为了限制误码的扩散和传输，使编码片相互间是独立的。某片的预测不能以其他片中的宏块作为参考图像，这样某一片中的预测误差才不会传播到其他片中去。
-
宏块(MacroBlock/MB):一个编码的图像通常划分为若干宏块组成，是H264编码的基本单位。
一个宏块由
16*16的YUV数据组成。
六. H264 编码分层
H264编码分为两层：
-
NAL层(Networking Abstraction Layer)
视频数据网络抽象层。 由于进行网络传输过程中，每一个以太网的数据包为1500字节，而H264的帧往往会大于1500字节。所以就需要将一个帧拆成多个包进行传输。NAL层就是处理所有的拆包或者组包任务的。
-
VCL层(Video Coding Layer)
视频数据编码层。 它的作用就是对视频的原始数据进行压缩。
七. NALU(NAL Unit)结构
上图说明了NALU的结构:
- NALU由一个NALU头和一个切片组成；
- 切片分为切片头和切片数据；
- 切片数据由若干个宏块组成；
- 宏块内部又有宏块的类型、宏块的预测、残差数据。
八. H264码流分层结构图
上图包含了很多知识点，我们编码和解码都可以参考这个图来进行。
- A Annexb格式数据 : 就是起始码 + Nal Unit数据
- 起始码 : H264采用**EBSP:(Encapsulate Byte Sequence Payload)**的码流，这种码流就是在生成压缩流后，在每一帧前加一个起始位，一般为16进制的0001。
- NAL Unit : NALU头 + NALU数据
- NALU 主体 : 是由切片组成.切片包括 切片头 + 切片数据
- Slice数据: 宏块组成
- PCM类 : 宏块类型 + pcm数据 或者 宏块类型 + 宏块预测 + 残差数据
- Residual : 残差块
