WEB多媒体 ｜ 青训营笔记

这是我参与「第四届青训营 」笔记创作活动的第13天

编码格式

图像基本概念：图像分辨率、图像深度
视频基本概念：分辨率、帧率、码率、I帧、P帧、B帧、dts、pts、GOP
详细解释
图像分辨率:用于确定组成一副图像的像素数据,指在水平和垂直方向上图像所具有的像素个数。

图像深度:指存储每个像素所需要的比特数。

图像深度决定了图像的每个像素可能的颜色数,或可能的灰度级数。例如，彩色图像每个像素用R,G,B三个分量表示,每个分量用8位，像素深度为24位，可以表示的颜色数目为2的24次方，既16777216个;一副单色图像存储每个像素需要8bit，则图像的像素深度为8位,最大灰度数目为2的8次方，既256个。

分辨率:每一帧的图像分辨率
帧率:视频单位时间内包含的视频帧的数量
码率:就是指视频单位时间内传输的数据量,一般我们用kbps来表示，即千位每秒。
I帧:又称帧内编码帧，是一种自带全部信息的独立帧，无需参考其他图像便可独立进行解码
P帧:又称帧间预测编码帧，需要参考前面的l帧或者P帧才能进行编码
B帧:又称双向预测编码帧，也就是B帧记录的是本帧与前后帧的差别
dts:解码时间戳
pts:显示时间戳

编码数据处理流程

1. 预测：去除空间冗余，时间冗余
2. 变换：去除空间冗余
3. 量化：去除视觉冗余
4. 熵编码：去除编码冗余

graph TD
预测 --> 变换 --> 量化 --> 熵编码

多媒体元素和扩展API

• videoElement

• audioElement

• Media Source Extensions

参考videoElement、audioElement

应用场景

点播 直播 图片 云游戏 实时通信 视频编辑

新技术标准

• Webassembly
• WebCodecs
• WebGPU
• WebVR、WebXR