多媒体直播技术|青训营笔记

130 阅读3分钟

这是我参与「第四届青训营 」笔记创作活动的第5天

本节课的主要内容:多媒体直播技术

1,视频的基本元素

像素: 表示根据设备分辨率将图像划分为对应的最小单位,一般由设备决定大小,设备分辨率越高,像素单位越小。

image.png

RGB三原色: 每种颜色都可用三个变量来表示-红,绿,蓝三种颜色的强度。记录及显示彩色图像时,RGB是最常见的一种方案。
它们的取值,R、G、B分别从0到255,一共256个等级。

分辨率: 表示的是图像被分成的像素数量,一般表示为宽高 (or长宽),720*1080等

image.png

image.png

码率/比特率

表示单位时间内传送bit的数目,单位bps,表示是单位时间播放连续的媒体如压缩后的音视频的bit数量,也称为码流。

越高的比特率,需要更高的带宽来支撑,否则会带来卡顿、成本等问题
太低的比特率,可能会导致视频画面过度压缩,导致视频模糊不清等问题
通过改变码率可以让视频文件在保持帧率、分辨率的情况的同时减少文件体积
帧: 组成视频的每一张画面就为一帧

image.png

帧率: 指的是每秒传输的画面数量

image.png

2,视频压缩

视频播放的本质:将视频画面从封装文件中进行解码、渲染

image.png

帧内压缩 / 空间压缩

帧内(Intraframe)压缩也称为空间压缩(Spatial compression)。当压缩一帧图像时,仅考虑本帧的数据而不考虑相邻帧之间的冗余信息,这实际上与静态图像压缩类似。帧内一般采用有损压缩算法,达不到很高的压缩比。

帧间压缩 / 时间压缩

帧间压缩(Interframe compression)也称为时间压缩(Temporal_compression),是基于许多视频或动画的连续前后两帧具有很大的相关性(即连续的视频其相邻帧之间具有冗余信息)的特点来实现的。
通过比较时间轴上不同帧之间的数据实施压缩,进一步提高压缩比.一般是无损压缩。

各种帧类型对比

视频编码格式 H264 VS H265
H265 压缩比更高,需要更多的算力
H264 : AVC 更普及
H265 : HEVC 更小体积

image.png

3,直播推拉流协议

CDN:Content Delivery Network

建立并覆盖在Internet 之上,由分布在不同区域的边缘节点服务器群组成的分布式网络。通过智能调度将用户请求到最接近用户的服务节点,降低用户访问延迟,提升可用性。

边缘节点: 指在靠近用户的网络边缘侧构建的业务平台,提供存储、计算、网络等资源,将部分关键业务应用下沉到接入网络边缘,以减少网络传输和多级转发带来的宽度和时延损耗

不同场景的视频通信方案

image.png

推拉流协议: 目前主要有RTMP,HTTP-FLV,HL三类,主要对比如下:

image.png

4,客户端工作及总计

image.png

推流端

采集方式:摄像头、屏幕、图像采集卡等
图像处理的场景:美颜、绿幕、头饰

拉流端

5,总结

本次课程详细讲述了视频分辨率,码率,编码格式等知识,介绍了各类帧的特点对比了各类场景的选择与灵活运用,以及不同场景视频方案的选择,对客户端的原理过程进行讲解,讲的可谓通俗易懂,非常详细!