前端 Web 多媒体入门 | 青训营笔记

164 阅读2分钟

这是我参与「第四届青训营 」笔记创作活动的的第16天

Web多媒体入门

目录:

  1. Web多媒体历史
  2. 基础知识
  3. 应用场景
  4. 总结和展望

Web多媒体历史

截屏2022-08-16 16.52.13.png

基础知识

  1. 编码知识
  2. 封装格式
  3. 多媒体元素和扩展API
  4. 流媒体协议

编码格式

图像基本概念

  • 图像分辨率:用于确定组成一副图像的像素数据,就是指在水平和垂直方向上图像所具有的像素个数。
  • 图像深度:图像深度是指存储每个像素所需要的比特数。图像深度决定了图像的每个像素可能的颜色数,或可能的灰度级数。例如,彩色图像每个像素用 R.G,B三个分量表示,每个分量用8位,像素深度为24位,可以表示的颜色数目为2的24次方,既16777216个:一副单色图像存储每个像素需要8bit,则图像的像素深度为8位,最大灰度数目为2的8次方,既256个。 视频基本概念
  • 分辨率:每一帧的图像分辨率
  • 帧率:视频单位时间内包含的视频帧的数量
  • 码率:就是指视频单位时间内传输的数据量,一般我们用kbps来表示,及千位每秒 截屏2022-08-16 16.58.15.png

截屏2022-08-16 16.58.38.png

截屏2022-08-16 16.58.55.png

截屏2022-08-16 16.59.09.png

截屏2022-08-16 16.59.27.png

截屏2022-08-16 16.59.44.png

截屏2022-08-16 16.59.57.png

截屏2022-08-16 17.00.10.png

截屏2022-08-16 17.00.23.png

封装格式

截屏2022-08-16 17.00.47.png

截屏2022-08-16 17.01.01.png

多媒体元素和扩展API

截屏2022-08-16 17.02.04.png

截屏2022-08-16 17.02.21.png

截屏2022-08-16 17.02.34.png

截屏2022-08-16 17.02.51.png

截屏2022-08-16 17.03.05.png

截屏2022-08-16 17.03.21.png

audio和video元素 塌陷

  • 不支持直接播放hls flv等视频格式
  • 视频资源的请求和加载无法通过代码控制
    • 分段加载(节约流量)
    • 清晰度无缝切换
    • 精确预加载 截屏2022-08-16 17.08.29.png

截屏2022-08-16 17.08.47.png

截屏2022-08-16 17.09.01.png

截屏2022-08-16 17.09.44.png

截屏2022-08-16 17.09.57.png

流媒体协议

截屏2022-08-16 17.10.23.png HLS 全称是 HTTP Live Streaming,是一个由 Apple 公司提出的基于 HTTP的媒体流传输协议,用于实时音视频流的传输 目前HLS协议被广泛的应用 于视频点播和直播领域。 截屏2022-08-16 17.12.03.png

截屏2022-08-16 17.12.44.png

应用场景

截屏2022-08-16 17.13.11.png

总结与展望

总结 新技术标准

  • flash →H5 video→MSE
  • 编码格式、封装格式、多媒体元素、流媒体协议
  • 应用场景
  • Webassembly
  • WebCodecs
  • WebGPU
  • WebVR、WebXR