这是我参与「第四届青训营 」笔记创作活动的第5天
一、本堂课重点内容:
01.视频的基本元素
介绍视频分辨率、码率、编码格式、轨道等知识
02.视频压缩
- 让学员介绍GOP,I、P、B帧的特点以及解码特点,对比视频、
- 对视频文件有基本的了解直播、视频编辑不同场景对该特性的
- 灵活运用H264、H265编码的特点
03.直播推拉流协议
- 对比不同场景的视频方案选取
- 对比 FLV 和 MP4的封装特点
- 介绍RTMP/ HTTP-FLV/HLS的特点和选择
04.客户端工作及总结
- 开播:图像采集、图像处理、编码、推流
- 看播:拉流、解码、图像处理、渲染
二、详细知识点介绍:
01.视频的基本元素
像素:是指在由一个数字序列表示的图像中的一个最小单位,称为像素,通常表现为一个小方格。每个像素有自己的颜色值,一般为RGB 三原色来表示。
RGB三原色: 每种颜色都可用三个变量来表示-红色绿色以及蓝色的强度。记录及显示彩色图像时,RGB是最常见的一种方案。 它们的取值,R、G、B分别从O到255,一共256个等级。
码率/比特率:表示单位时间内传送 bit 的数目,单位bps,表示是单位时间播放连续的媒体如压缩后的音视频的bit数量,也称为码流。 这种bps的单位电信领域上表示速度,就是我们常说的网速了。100Mbps 越高的比特率,需要更高的带宽来支撑,否则会带来卡顿、成本等问题太低的比特率,可能会导致视频画面过度压缩,模糊不清
02.视频压缩
帧内压缩/空间压缩 帧内(Intraframe)压缩也称为空间压缩(Spatial compression)。当压缩一帧图像时, 仅考虑本帧的数据而不考虑相邻帧之间的冗余信息,这实际上与静态图像压类似。帧内一般采用有损压缩算法,达不到很高的压缩比。
帧间压缩/时间压缩 B-frame: Bi-Directional frame 由于B帧可以参考和插入在它之前和之后发生的两个(或更多)帧(在时间维度上),所以它可以显著降低帧的大小,同时保持视频质量。B帧能够利用空间冗余和时间冗余(未来的帧和过去的帧),这使得它在视频压缩中非常有用。
03.直播推拉流协议
CDN: Content Delivery Network 建立并覆盖在lnternet之上,由分布在不同区域的边缘节点服务器群组成的分布式网络。通过智能调度将用户请求到最接近用户的服务节点,降低用户访问延迟,提升可用性。 边缘节点:指在靠近用户的网络边缘侧构建的业务平台,提供存储、计算、网络等资源,将部分关键业务应用下沉到接入网络边缘,以减少网络传输和多级转发带来的宽度和时延损耗
推流协议 实时消息协议(英语: Real-Time Messaging Protocol,缩写RTMP)也称实时消息传输协议,是最初由Mlacromedia为通过互联网在Flash播放器与一个服务器之间传输流频、 视和数据而开发的一个专有协议。后被Adobe 公司收购。
04.客户端工作及总结
三、实践练习例子:
四、课后个人总结:
本节课学习了多媒体技术的知识,是一种通过计算机对文字、声音等多种媒体信息进行综合处理和管理,使用户可以通过多种感官与计算机进行实时信息交互的技术,分为了四个大点,但对其中一些知识了解不多,还需继续学习