【音视频开发】1. 音视频基础知识进行音视频代码开发前需要掌握的基础知识。包括：视频相关的名词、音频相关名词、音视频格式

音视频基础知识

第一步：输入的 容器文件 经过 解复用器（demuxer） 被拆分成编码格式的音频流和视频流等（包队列）
第二步：每个流经过对应的 解码器（decoder） 进行解压处理
- 视频流（H.264等编码） 被还原成 像素数据（RGB/YUV）
- 音频流（AAC等编码） 被还原成 样本数据（PCM）
第三步：像素和样本数据经过对应的 过滤器（filters） 处理，如改分辨率、裁剪、改音量等
第四步：像素和样本数据经过对应的 编码器（encoder） 压缩成 不同的编码格式
第五步：编码格式的视频流和音频流经过 复用器（muxer） 被封装到需要的新的容器格式文件中

第一步：视频文件通过解复用 + 解码放入 采样帧队列 和 图像帧队列
第二步：时钟同步
- Audio Master：视频跟着音频（最常见）
- Video Master：音频跟着视频
- External Clock Master：同步音频和视频到外部时钟
第三步：通过硬件播放出来

RGB：描述一个像素颜色的三种基色，R红，G绿，B蓝
- Python Pillow 库的默认色彩空间为 RGB
- C++ opencv2 库的默认色彩空间为 BGR
- 还可以加上一个透明度通道，RGBA
YUV：描述一个像素颜色的亮度与色度的三个分量，Y亮度、U/Cb蓝色差，V/Cr红色差
- 每个像素必须有 Y 分量，UV 可减少，用于降低存储
- 444 采样：1Y ----1UV，每一行的 1 个 Y 对应 1 对 UV，平均每个像素 3B
- 422 采样：2Y----1UV，每一行的 2 个 Y 对应 1 对 UV，平均每个像素 2B
- 420 采样：4Y----1UV，每两行的 2x2 的 4 个 Y 对应 1 对 UV，平均每个像素 1.5B

packed 打包格式：逐像素打包所有通道，多维数组(H,W,C) 高度x宽度x通道
- RGB888格式：RGBRGB......RGBRGB
planar 平面格式：按通道拆分存储，多维数组(C,H,W) 通道x高度x宽度
- YUV420P格式：YY......YYUU......UUVV......VV，420采样
semi-planar 半平面格式：亮度通道平面，色度通道打包，多维数组(C,H,W)通道x高度x宽度
- NV21格式：YY......YYVUVU......VUVU，420采样
- NV12格式：YY......YYUVUV......UVUV，420采样

Side-by-Side 格式：每个帧左半部分是左眼图像，右半部分是右眼图像
- 1920 * 1080 => 960 * 1080 + 960 * 1080
Top-and-Bottom 格式：每个帧上半部分是左眼图像，下半部分是右眼图像
- 1920 * 1080 => 1920 * 540 + 1920 * 540
Frame Packing 格式：左右眼都以其全分辨率组合为一个打包帧
- 1920 * 1080 => 1920 * 2205
空间视频的编码：
- HEVC 标准：由于没有帧内远距离搜索，同一帧的左右半间无法相互预测；除此之外，由于运动估计搜索范围的限制，帧间预测也不能利用不同视点间的信息；
- MV-HEVC 标准：右视点帧间预测的运动矢量使用了大量的视点间参考模式，充分消除了视点间的冗余信息，同画质下减少带宽。Vision Pro 已支持 MV-HEVC 码流的硬解。原理：NALU header 中引入的 Layerld 表示该 NALU 封装的帧（或 Slice）所归属的视点号。通常用 Layerld 0 表示该帧属于左视点（主视点），Layerld 1 则表示属于右视点（辅视点）。我们称同属于一个 POC 但属于不同 Layerld 的帧为一个 AU (Acess Unit)。主视点图像编码的参考规则沿用基础 HEVC，辅视点每一帧图像编码在基础 HEVC 之上，又多了一个视点间参考帧。