音视频基础知识
音视频入门指南
音视频技术在现代互联网中扮演着至关重要的角色，无论是短视频、直播、在线会议还是流媒体服务，都离不开音视频的采集、编码、传输和播放。本文将从基础概念入手，带你了解音视频处理的核心知识。
一、音视频的基本组成
1. 视频数据来源
摄像头采集到的原始图像数据通常是 YUV 格式（如 YUV420P、NV12 等），这是一种常见的图像表示方式，具有较高的颜色保真度，适合后续的压缩处理。
2. 音频数据来源
麦克风捕获的是 PCM 格式的音频数据，这是未经压缩的原始音频信号，通常以一定的采样率（如 44.1kHz）和位深（如 16bit）进行存储。
二、编码与压缩
1. 编码的目的
编码的本质是为了 压缩数据量，使得音视频文件更小，便于在网络上传输或本地存储。
2. 常见的视频编码标准
| 编码名称 | 别名 | 特点 | 应用场景 |
|---|---|---|---|
| H.264 | MPEG-4 AVC | 压缩效率高，兼容性强 | 流媒体、安防监控 |
| H.265 | HEVC | 比H.264压缩率提升约50% | 超高清视频 |
| VP8 | - | Google推出，开源 | WebRTC、视频通话 |
| VP9 | - | 类似于H.265，支持HDR | YouTube等平台 |
补充说明：
- H.264/MPEG-4 AVC 是目前最广泛使用的视频编码格式。
- VP8 和 VP9 是 Google 主导开发的开源编码器，常用于实时通信场景，如视频会议。
三、封装格式（容器）
封装格式的作用是将 视频流、音频流、字幕、元数据等 组合在一起，并按照一定规则排列，形成一个可播放的文件。
常见的封装格式：
| 封装格式 | 全称 | 特点 | 应用场景 |
|---|---|---|---|
| MP4 | MPEG-4 Part 14 | 通用性强，支持多种编码 | 移动端、网页播放 |
| AVI | Audio Video Interleave | 微软老格式，兼容性好但体积大 | 旧系统或设备 |
| FLV | Flash Video | 支持流媒体传输 | 早期直播平台 |
| RMVB | RealMedia Variable Bitrate | 可变码率，节省空间 | 早期内存较小设备 |
| MKV | Matroska | 开源、支持多轨道 | 高清蓝光片源 |
示例：一个 .mp4 文件可能包含 H.264 编码的视频流和 AAC 编码的音频流。
四、标准化组织
音视频编码的发展主要由两个国际组织推动：
1. ITU-T（国际电信联盟）
负责制定通信相关的标准，代表性视频编码标准包括：
- H.261（最早的视频编码标准）
- H.262（MPEG-2 视频部分）
- H.263 → H.264（逐步演进的标准）
2. ISO/IEC（国际标准化组织）
负责制定多媒体相关标准，代表性标准包括：
- MPEG-4（含 AVC 即 H.264）
- HEVC（即 H.265）
这两个组织的标准经常交叉使用，例如 H.264 = MPEG-4 AVC。
五、音视频处理流程
graph TD
采集 --> 编码--> 封装--> 传输/存储--> 解码--> 渲染
六、结语
通过本文，你应该对音视频的基础知识有了初步了解。随着技术的发展，新的编码标准（如 AV1）和封装格式也在不断涌现。如果你希望深入学习音视频开发，可以进一步研究 FFmpeg、WebRTC、RTMP、HLS 等工具和协议。
欢迎继续探索更多音视频相关内容！
