Web多媒体入门 | 青训营笔记

76 阅读2分钟

基础知识

编码格式

图像基本概念

图像分辨率:

用于确定组成一副图像的像素数据,就是指在水平和垂直方向上图像所具有的像素个数。

图像深度:

图像深度是指存储每个像素所需要的比特数。图像深度决定了图像的每个像素可能的颜色数,或可能的灰度级数。例如,彩色图像每个像素用R,G,B三个分量表示,每个分量用8位,像素深度为24位,可以表示的颜色数目为2的24次方,既16777216个;一副单色图像存储每个像素需要8bit,则图像的像素深度为8位,最大灰度数目为2的8次方,既256个。

视频基本概念

分辨率:

每一帧的图像分辨率

帧率:

视频单位时间内包含的视频帧的数量

码率:

就是指视频单位时间内传输的数据量,一般我们用kbps来表示,即千位每秒。

image.png

I帧又称帧内编码帧,是一种自带全部信息的独立帧,无需参考其他图像便可独立进行解码P帧又称帧间预测编码帧,需要参考前面的I帧或者P帧才能进行编码

B帧又称双向预测编码帧,也就是B帧记录的是本帧与前后帧的差别

编码数据处理流程

image.png

封装格式

image.png

image.png

多媒体元素和扩展API

video

image.png

audio

image.png

MSE

媒体源扩展API (Media Source Extensions)

·无插件在web端播放流媒体 ·支持播放hls、flv、mp4等格式视频 ·可实现视频分段加载、清晰度无缝切换、自适应码率、精确预加载等

应用场景

image.png