探索多媒体技术 | 青训营笔记

121 阅读3分钟

这是我参与「第四届青训营 」笔记创作活动的第5天

一、本堂课重点内容:

01.视频的基本元素

介绍视频分辨率、码率、编码格式、轨道等知识

02.视频压缩

  • 让学员介绍GOP,I、P、B帧的特点以及解码特点,对比视频、
  • 对视频文件有基本的了解直播、视频编辑不同场景对该特性的
  • 灵活运用H264、H265编码的特点

03.直播推拉流协议

  • 对比不同场景的视频方案选取
  • 对比 FLV 和 MP4的封装特点
  • 介绍RTMP/ HTTP-FLV/HLS的特点和选择

04.客户端工作及总结

  • 开播:图像采集、图像处理、编码、推流
  • 看播:拉流、解码、图像处理、渲染

二、详细知识点介绍:

01.视频的基本元素

像素:是指在由一个数字序列表示的图像中的一个最小单位,称为像素,通常表现为一个小方格。每个像素有自己的颜色值,一般为RGB 三原色来表示。

RGB三原色: 每种颜色都可用三个变量来表示-红色绿色以及蓝色的强度。记录及显示彩色图像时,RGB是最常见的一种方案。 它们的取值,R、G、B分别从O到255,一共256个等级。

码率/比特率:表示单位时间内传送 bit 的数目,单位bps,表示是单位时间播放连续的媒体如压缩后的音视频的bit数量,也称为码流。 这种bps的单位电信领域上表示速度,就是我们常说的网速了。100Mbps 越高的比特率,需要更高的带宽来支撑,否则会带来卡顿、成本等问题太低的比特率,可能会导致视频画面过度压缩,模糊不清

02.视频压缩

帧内压缩/空间压缩 帧内(Intraframe)压缩也称为空间压缩(Spatial compression)。当压缩一帧图像时, 仅考虑本帧的数据而不考虑相邻帧之间的冗余信息,这实际上与静态图像压类似。帧内一般采用有损压缩算法,达不到很高的压缩比。

帧间压缩/时间压缩 B-frame: Bi-Directional frame 由于B帧可以参考和插入在它之前和之后发生的两个(或更多)帧(在时间维度上),所以它可以显著降低帧的大小,同时保持视频质量。B帧能够利用空间冗余和时间冗余(未来的帧和过去的帧),这使得它在视频压缩中非常有用。

03.直播推拉流协议

CDN: Content Delivery Network 建立并覆盖在lnternet之上,由分布在不同区域的边缘节点服务器群组成的分布式网络。通过智能调度将用户请求到最接近用户的服务节点,降低用户访问延迟,提升可用性。 边缘节点:指在靠近用户的网络边缘侧构建的业务平台,提供存储、计算、网络等资源,将部分关键业务应用下沉到接入网络边缘,以减少网络传输和多级转发带来的宽度和时延损耗

推流协议 实时消息协议(英语: Real-Time Messaging Protocol,缩写RTMP)也称实时消息传输协议,是最初由Mlacromedia为通过互联网在Flash播放器与一个服务器之间传输流频、 视和数据而开发的一个专有协议。后被Adobe 公司收购。

04.客户端工作及总结

image.png

三、实践练习例子:

image.png

image.png

四、课后个人总结:

本节课学习了多媒体技术的知识,是一种通过计算机对文字、声音等多种媒体信息进行综合处理和管理,使用户可以通过多种感官与计算机进行实时信息交互的技术,分为了四个大点,但对其中一些知识了解不多,还需继续学习