FFmpeg:音视频编解码开发套件

298 阅读3分钟

FFmpeg 是什么?

FFmpeg 既是一款音视频编解码工具,同时也是一组音视频编解码开发套件,作为编解码开发套件,它为开发者提供了丰富的音视频的调用接口

FFmpeg 中的 “FF” 指的是 “Fast Forward”FFmpeg 中的 “mpeg” 则是 “Moving Picture Experts Group”(动态图像专家组)

强大的功能

FFMpeg 提供了多种媒体格式的封装和解封装,包括多种音视频编码多种协议的流媒体、多种色彩格式转换、多种采样率转换、多种码率转换等;FFmpeg 框架提供了多种丰富的插件模块包含封装与解封装的插件、编码与解码的插件

FFmpeg 模块分类

打开 FFmpeg 源码,会发现有一系列 libavxxx 的模块,这些模块很好地划分了代码的结构和分工

  • libavformat,format,格式封装

  • libavcodec,codec,编码、解码

  • libavutil,util,通用音视频工具,像素、IO、时间等工具

  • libavfilter,filter,过滤器,可以用作音视频特效处理

  • libavdevice,device,设备(摄像头、拾音器)

  • libswscale,scale,视频图像缩放,像素格式互换

  • libavresample,resample,重采样

  • libswresample,也是重采样,类似图像缩放

  • libpostproc,后期处理

FFmpeg 数据结构简介

AVFormatContext

封装格式上下文结构体,也是统领全局的结构体,保存了视频文件封装格式相关信息

iformat:输入视频的AVInputFormat
nb_streams :输入视频的AVStream 个数
streams :输入视频的AVStream []数组
duration :输入视频的时长(以微秒为单位)
bit_rate :输入视频的码率

AVInputFormat

每种封装格式(例如FLV, MKV, MP4, AVI)对应一个该结构体

name:封装格式名称
long_name:封装格式的长名称
extensions:封装格式的扩展名
id:封装格式ID  
一些封装格式处理的接口函数

AVStream 

 视频文件中每个视频(音频)流对应一个该结构体

id:序号
codec:该流对应的AVCodecContext
time_base:该流的时基
r_frame_rate: 该流的帧率

AVCodecContext

编码器上下文结构体,保存了视频(音频)编解码相关信息

codec:编解码器的AVCodec
width, height:图像的宽高(只针对视频)
pix_fmt:像素格式(只针对视频)
sample_rate:采样率( 只针对音频)
channels:声道数(只针对音频)
sample_fmt:采样格式(只针对音频)

AVCodec 

每种视频(音频)编解码器(例如H.264解码器)对应一个该结构体

name:编解码器名称
long_name:编解码器长名称
type:编解码器类型
id:编解码器ID
一些编解码的接口函数

AVPacket

存储一帧压缩编码数据

pts:显示时间戳
dts :解码时间戳
data :压缩编码数据
size :压缩编码数据大小
stream_index :所属的AVStream

AVFrame

存储一帧解码后像素(采样)数据

data:解码后的图像像素数据(音频采样数据)。
linesize:对视频来说是图像中一行像素的大小;对音频来说是整个音频帧的大小。
width, height:图像的宽高(只针对视频)。
key_frame:是否为关键帧(只针对视频) 。
pict_type:帧类型(只针对视频) 。例如IPB

FFmpeg的一些应用场景

下面介绍一下 FFmpeg 都用在了哪里(在这里仅列几个我所知的,其实远比这个多)。说白了就是为了说明:FFmpeg 是非常重要的。

使用 FFmpeg 作为内核视频播放器:

  • Mplayer,ffplay,射手播放器,暴风影音,KMPlayer,QQ影音...

使用 FFmpeg 作为内核的 Directshow Filter:

  • ffdshow,lav filters...

使用 FFmpeg 作为内核的转码工具:

  • ffmpeg,格式工厂...

事实上,FFmpeg 的音视频编解码功能确实太强大了,几乎囊括了现存所有的音视频编码标准,因此只要做音视频开发,几乎离不开它

好了,以上就是今天要分享的内容,大家觉得有用的话,可以点赞分享一下;如果文章中有什么问题欢迎大家指正;欢迎在评论区或后台讨论哈~