一句话总结： 视频编码并非简单的四步流水线，而是一个以“率失真优化”为大脑的智能决策系统，它通过反复试验预测、变换、量化等工具，为每一个像素块找到码率与画质的最佳平衡点。
一、 核心引擎：率失真优化（RDO）—— 编码器的“大脑”
在深入具体步骤之前，必须理解现代编码器的核心驱动力：率失真优化（Rate-Distortion Optimization, RDO）。对于视频的每一个微小块（宏块），编码器都会像一个精明的商人一样，尝试多种处理方案，并计算每种方案的“成本”和“收益”：
- 成本 (Rate)：采用该方案需要耗费多少比特（Bits）。
- 收益 (Distortion)：该方案造成的画质损失有多大。
编码器最终会选择**成本最低、收益最高（即失真最小）**的方案。接下来的所有步骤，都是RDO决策循环中被反复调用的“工具”。
二、 工具箱解析：四大核心处理模块
1. 预测编码：寻找最省力的“参考答案”
预测的本质是减少需要编码的原始信息量。编码器不直接编码像素，而是先做一个“猜测”，然后只编码“猜测”与真实值之间的残差（Residual）。
- 帧内预测 (Intra-prediction)：空间维度上的“抄作业”。利用同一帧内已编码的相邻像素块，按不同角度（水平、垂直、DC等）进行预测。适用于画面新增的区域或关键帧（I帧）。
- 帧间预测 (Inter-prediction)：时间维度上的“找不同”。通过运动估计，在前后参考帧中寻找与当前块最相似的块，记录下其**运动矢量（MV）**和微小差异。这是视频压缩率远高于图片压缩率的根本原因。
RDO的应用：编码器会同时尝试多种帧内和帧间预测模式，计算哪种模式产生的残差最小、运动矢量最精简，最终选择最优解。
2. 变换（DCT/DST）：将信息“能量”集中起来
直接量化残差的效率很低。因此，需要通过**离散余弦变换（DCT）**等手段，将残差数据从空间域变换到频率域。
- 核心目的：能量集中。变换后，绝大部分信号能量（代表画面主要轮廓）会集中在左上角的少数几个低频系数上，而大量细节信息（人眼不敏感）则分散在其余的高频系数中，且数值很小。
- 技术演进：从H.264的固定4x4/8x8 DCT，到HEVC/AV1支持从4x4到64x64的可变尺寸DCT/DST（离散正弦变换），以更好地适应不同纹理区域。
3. 量化：有损压缩的灵魂与“手术刀”
量化是编码过程中唯一真正丢弃信息的步骤，也是实现高压缩比的关键。
- 原理：将变换后的频率系数除以一个**量化参数（QP）**并取整。QP值越大，除得越狠，更多的细节（高频系数）被直接归零，压缩率越高，但画质损失也越大。
- RDO的控制核心：QP是RDO用来调控码率和画质最直接的“旋钮”。编码器通过动态调整QP，在平坦区域使用高QP（节省码率），在复杂纹理区域使用低QP（保留细节）。
4. 熵编码：为数据信息“精打细算”
经过量化后，系数矩阵呈现出明显的统计规律（大量的零，非零值集中在左上角且数值较小）。熵编码利用这一规律进行最后的无损压缩。
- 原理：为高频出现的数据（如“0”）分配极短的码字，为低频出现的数据（如较大的系数值）分配较长的码字。
- 技术演进：从简单的CAVLC（基于上下文的自适应可变长编码）发展到更高效、但计算更复杂的CABAC（基于上下文的自适应二进制算术编码）。
三、 被忽略的关键一步：环路滤波——为下一次预测“打扫战场”
编码器不仅要输出码流，还要在内部重建一幅解码后的图像，用作后续帧间预测的参考。由于量化是有损的，重建图像会带有块效应等失真。
- 作用：**环路滤波（In-loop Filtering）**在将重建帧存为参考帧之前，对其进行去块效应、平滑等处理。这能显著提升参考帧的质量，从而提高后续帧的预测精度，最终在相同码率下获得更高的主观画质。
- 重要性：没有环路滤波，失真会在预测链中不断累积和放大，导致画质迅速劣化。
结论
理解视频编码，需要从静态的流水线思维转变为动态的优化决策思维。它是一个在“率失真”这对永恒矛盾中不断寻找最佳平衡点的复杂工程。预测、变换、量化、熵编码以及环路滤波，共同构成了这个智能系统强大而高效的工具箱。
