一、ffmpeg、ffplay、ffprobe区别
- ffmpeg：超快音视频编码器（类似爱剪辑）
- ffplay：简单媒体播放器
- ffprobe：简单多媒体流分析器
二、帮助文档查看
2.1 ffmpeg查看帮助文档
- 基本信息：ffmpeg -h
- 高级信息：ffmpeg -h long
- 所有信息：ffmpeg -h full
2.2 ffplay、ffprobe帮助文档
- ffplay：ffpay -h
- ffprobe：ffprobe -h
注意：ffmpeg、ffplay、ffprobe部分参数通用，部分不通用
三、ffmpeg命令处理流程
如下一条命令将1920×1080的MP4文件转码成1280×720的flv文件
ffmpeg -i test_1920x1080.mp4 -acodec copy -vcodec libx264 -s 1280x720 test_1280x720.flv
- 将test_1920×1080的文件解复用成音频和视频（demuxer）
- 将数据包解码成数据帧（decoder）
- 将帧处理成不同分辨率（filter）
- 将处理后的数据帧编码成数据包（encoder）
- 将编码后的音频和视频数据包输出到文件（muxer）
四、 ffmpeg命令
4.1 命令分类查询
命令分页：windows下可采取
ffmpeg -formats | more
命令查找：
# windows
ffmpeg -formats | findstr flv
#linux
ffmpeg -formats | grep flv
查询具体分类所支持的参数
# 语法
ffmepg -h type=name
# 示例1
ffmpeg -h muxer=flv
# 示例2
ffmpeg -h filter=atempo
| 命令参数 | 内容 | 命令参数 | 内容 |
|---|---|---|---|
| -version | 显示版本 | -bsfs | 显示可用比特流filter |
| -buildconf | 显示编译配置 | -protocols | 显示可用的协议 |
| -formats | 显示可用格式 | -filters | 显示可用的过滤器 |
| -muxers | 显示可用复用器 | -pix_fmts | 显示可用的像素格式 |
| -demuxers | 显示可用解复用器 | -layouts | 显示标准声道名称 |
| -codecs | 显示可用解编码器 | -sample_fmts | 显示可用的音频采样格式 |
| -decoders | 显示可用解码器 | -colors | 显示可用的颜色名称 |
| -encoders | 显示可用编码器 | -devices | 显示当前支持的设备名称 |
- formats：如图所示（此命令包含muxers和demuxers），其中第一个参数为支持的复用器。其中D为支持解复用器，E为支持复用器
- devices
- dshow：支持录制设备（比如摄像头、麦克风）
- lavfi：虚拟设备
- sdl,sdl2：代表支持sdl输出
- vfwcap：摄像头采集
- codes
其中第一个参数代表每个字母代表含义如下：
- D.....：解码支持
- .E....：编码支持
- ..V...：视频编解码器（Video）
- ..A...：音频编解码器（Audio）
- ..S...：字母编解码器（Subtitle）
- ...I..：内幕帧编解码器，不需要参考别的帧（Intra frame-only ）
- ....L.：有损的压缩（Lossy）
- .....S：无损的压缩（Lossless）
- decoders
- encoders
- bsfs
- protocols
- filters
- pix_fmts
- layouts
- sample_fmts
- colors
4.2 ffmpeg转封装
4.2.1 截取视频
- -i 设定输入流
- -f 设定输出格式
- -ss 开始时间
- -t 时间长度(毫秒)
ffmpeg -i .\test.mp4 -codec copy -ss 10 -t 20 -f flv
4.2.2 音频处理
- -aframes 设置要输出的音频帧数
- -b:a 音频码率
- -ar 设定采样率
- -ac 设定声音的Channel数
- -acodec 设定声音编解码器，如果用copy表示原始编解码数据必须被拷贝。
- -an 不处理音频
- -af 音频过滤器
ffmpeg -i test.mp4 -b:a 192k -ar 48000 -ac 2 -acodec libmp3lame -aframes 200 out2.mp3
4.2.3 视频处理
- -vframes 设置要输出的视频帧数
- -b 设定视频码率
- -b:v 视频码率
- -r 设定帧速率
- -s 设定画面的宽与高
- -vn 不处理视频
- -aspect aspect 设置横纵比 4:3 16:9 或 1.3333 1.7777
- -vcodec 设定视频编解码器，如果用copy表示原始编解码数据必须被拷贝。
- -vf 视频过滤器
ffmpeg -i test.mp4 -vframes 300 -b:v 300k -r 30 -s 640x480 -aspect 16:9 -vcodec libx265
4.2.4 提取音频数据
# 保留封装格式
ffmpeg -i test.mp4 -acodec copy -vn audio.mp4
# 保留编码格式
ffmpeg -i test.mp4 -acodec copy -vn test.aac
# 强制格式
ffmpeg -i test.mp4 -acodec libmp3lame -vn test.mp3
4.2.5 提取视频数据
# 保留封装格式
ffmpeg -i test.mp4 -vcodec copy -an video.mp4
# 保留编码格式
ffmpeg -i test.mp4 -vcodec copy -an test.h264
# 强制格式
ffmpeg -i test.mp4 -vcodec libx264 -an test_force.h264
4.2.6 提取YUV
-pix_fmt
-s
# 提取3秒数据，分辨率和源视频一致
ffmpeg -i test_1280x720.mp4 -t 3 -pix_fmt yuv420p yuv420p_orig.yuv
# 提取3秒数据，分辨率转为320x240
ffmpeg -i test_1280x720.mp4 -t 3 -pix_fmt yuv420p -s 320x240 yuv420p_320x240.yuv
4.2.7 提取RGB
# 提取3秒数据，分辨率转为320x240
ffmpeg -i test.mp4 -t 3 -pix_fmt rgb24 -s 320x240 rgb24_320x240.rgb
# RGB和YUV之间的转换
ffmpeg -s 320x240 -pix_fmt yuv420p -i yuv420p_320x240.yuv -pix_fmt rgb24 rgb24_320x240_2.rgb
4.2.8 提取PCM
ffmpeg -i buweishui.mp3 -ar 48000 -ac 2 -f s16le 48000_2_s16le.pcm
ffmpeg -i buweishui.mp3 -ar 48000 -ac 2 -sample_fmt s16 out_s16.wav
ffmpeg -i buweishui.mp3 -ar 48000 -ac 2 -codec:a pcm_s16le out2_s16le.wav
ffmpeg -i buweishui.mp3 -ar 48000 -ac 2 -f f32le 48000_2_f32le.pcm
ffmpeg -i test.mp4 -t 10 -vn -ar 48000 -ac 2 -f f32le 48000_2_f32le_2.pcm
4.2.9 保持编码格式
ffmpeg -i test.mp4 -vcodec copy -acodec copy test.ts
ffmpeg -i test.mp4 -codec copy test.ts
4.2.10 改变编码格式
ffmpeg -i test.mp4 -vcodec libx265 -acodec libmp3lame out.mkv
4.2.11 改变帧率
ffmpeg -i test.mp4 -r 15 -codec copy output.mp4(错误命令)
ffmpeg -i test.mp4 -r 15 output2.mp4
4.2.12 修改视频码率
ffmpeg -i test.mp4 -b 400k output_b.mkv(音频也被重新编码)
ffmpeg -i test.mp4 -b:v 400k output_b.mkv
4.2.13 修改音频码率
ffmpeg -i test.mp4 -b:a 192k output.mp4
# 不重新编码video
ffmpeg -i test.mp4 -b:a 192k -vcodec copy output.mp4
4.2.14 修改音视频码率
ffmpeg -i test.mp4 -b:v 400k -b:a 192k out.mp4
4.2.15 修改视频分辨率
ffmpeg -i test.mp4 -s 480x270 output_480x270.mp4
4.2.16 修改音频采样率
ffmpeg -i test.mp4 -ar 44100 output_44100hz.mp4
4.2.17 裁剪视频，并转化成ts和flv格式，然后合并视频流
# 找三个不同的视频每个视频截取10秒内容
ffmpeg -i java.mp4 -ss 00:05:00 -t 10 -codec copy 1.mp4
ffmpeg -i cpp.mp4 -ss 00:05:00 -t 10 -codec copy 2.mp4
ffmpeg -i go.mp4 -ss 00:05:00 -t 10 -codec copy 3.mp4
# 如果音视频格式不统一则强制统一为 -vcodec libx264 -acodec aac
# 将上述1.mp4/2.mp4/3.mp4转成ts格式
ffmpeg -i 1.mp4 -codec copy -vbsf h264_mp4toannexb 1.ts
ffmpeg -i 2.mp4 -codec copy -vbsf h264_mp4toannexb 2.ts
ffmpeg -i 3.mp4 -codec copy -vbsf h264_mp4toannexb 3.ts
# 分离某些封装格式（例如MP4/FLV/MKV等）中的H.264的时候，需要首先写入SPS和PPS，否则会导致分离出来的数据没有SPS、PPS而无法播放。H.264码流
的SPS和PPS信息存储在AVCodecContext结构体的extradata中。需要使用ffmpeg中名称为“h264_mp4toannexb”的bitstream filter处理
# 转成flv格式
ffmpeg -i 1.mp4 -codec copy 1.flv
ffmpeg -i 2.mp4 -codec copy 2.flv
ffmpeg -i 3.mp4 -codec copy 3.flv
# 拼接视频流
# 以MP4格式进行拼接
# 方法1：只有第一个个视频，所以此法不行
ffmpeg -i "concat:1.mp4|2.mp4|3.mp4" -codec copy out_mp4.mp4
# 方法2：音频正常，视频从第二个视频开始就便缓慢，不同步
ffmpeg -f concat -i mp4list.txt -codec copy out_mp42.mp4
# 以TS格式进行拼接
# 方法1：正常播放
ffmpeg -i "concat:1.ts|2.ts|3.ts" -codec copy out_ts.mp4
# 方法2：正常播放
ffmpeg -f concat -i tslist.txt -codec copy out_ts2.mp4
# 以FLV格式进行拼接
# 方法1：只有第一个个视频，所以此法不行
ffmpeg -i "concat:1.flv|2.flv|3.flv" -codec copy out_flv.mp4
# 方法2：正常播放
ffmpeg -f concat -i flvlist.txt -codec copy out_flv2.mp4
# 修改音频编码
ffmpeg -i 2.mp4 -vcodec copy -acodec ac3 -vbsf h264_mp4toannexb mod_1.ts
ffmpeg -i "concat:1.ts|2.ts|3.ts" -codec copy out1.mp4 结果第二段没有声音
# 修改音频采样率
ffmpeg -i 2.mp4 -vcodec copy -acodec aac -ar 96000 -vbsf h264_mp4toannexb 2.ts
ffmpeg -i "concat:1.ts|2.ts|3.ts" -codec copy out2.mp4 第二段播放异常
# 修改视频编码格式
ffmpeg -i 1.mp4 -acodec copy -vcodec libx265 1.ts
ffmpeg -i "concat:1.ts|2.ts|3.ts" -codec copy out3.mp4
# 修改视频分辨率
ffmpeg -i 1.mp4 -acodec copy -vcodec libx264 -s 800x472 -vbsf h264_mp4toannexb 1.ts
ffmpeg -i "concat:1.ts|2.ts|3.ts" -codec copy out4.mp4
把每个视频封装格式也统一为ts，拼接输出的时候再输出你需要的封装格式
- 视频分辨率可以不同，但是编码格式需要统一
- 音频编码格式需要统一，音频参数(采样率/声道等)也需要统一
4.2.18 截取图片
-y 覆盖
-f 格式
image2 格式
-vframes 帧，日光IP大于1那么输出加%03d test%03d.jpg
-s 格式带线啊哦
# 截取图片
ffmpeg -i test.mp4 -y -f image2 -ss 00:00:02 -vframes 1 -s 640x360 test.jpg
ffmpeg -i test.mp4 -y -f image2 -ss 00:00:02 -vframes 1 -s 640x360 test.bmp
# 转化视频位图片，每帧一张图
ffmpeg -i test.mp4 -t 5 -s 640x360 -r 15 frame%03d.jpg
# 图片转换为视频
ffmpeg -f image2 -i frame%03d.jpg -r 25 video.mp4
# 从视频中生成GIF图片
ffmpeg -i test.mp4 -t 5 -r 1 image1.gif
ffmpeg -i test.mp4 -t 5 -r 25 -s 640x360 image2.gif
# 将 GIF 转化为 视频
ffmpeg -f gif -i image2.gif image2.mp4
4.2.19 视频录制
- 查看设备,windows最好装下https://sourceforge.net/projects/screencapturer/files/
ffmpeg -list_devices true -f dshow -i dummy
[dshow @ 033bd280] DirectShow video devices (some may be both video and audio devices)
[dshow @ 033bd280] "Integrated Camera"
[dshow @ 033bd280] Alternative name "@device_pnp_\\?\usb#vid_04f2&pid_b6d9&mi_00#6&850bcba&1&0000#{65e8773d-8f56-11d0-a3b9-00a0c9223196}\global"
[dshow @ 033bd280] "screen-capture-recorder"
[dshow @ 033bd280] Alternative name "@device_sw_{860BB310-5D01-11D0-BD3B-00A0C911CE86}\{4EA6930A-2C8A-4AE6-A561-56E4B5044439}"
[dshow @ 033bd280] DirectShow audio devices
[dshow @ 033bd280] "楹﹀厠椋?(Realtek(R) Audio)"
[dshow @ 033bd280] Alternative name "@device_cm_{33D9A762-90C8-11D0-BD43-00A0C911CE86}\wave_{2290534C-E8B7-4A5D-93CC-94AF1DA12D4D}"
[dshow @ 033bd280] "virtual-audio-capturer"
[dshow @ 033bd280] Alternative name "@device_sw_{33D9A762-90C8-11D0-BD43-00A0C911CE86}\{8E14549B-DB61-4309-AFA1-3578E927E935}"
# 查看视频录制的可选参数
ffmpeg -f dshow -list_options true -i video="screen-capture-recorder"
# 查看音频录制的可选参数
ffmpeg -f dshow -list_options true -i audio="virtual-audio-capturer“
ffmpeg -f dshow -list_options true -i audio="麦克风 (Realtek Audio)"
- 音视频录制
# 录制视频（默认参数）
# 桌面
ffmpeg -f dshow -i video="screen-capture-recorder" v-destop.mp4
# 摄像头
ffmpeg -f dshow -i video="Integrated Camera" -y v-camera.flv (要根据自己摄像头名称)
# 录制声音（默认参数）
# 系统
ffmpeg -f dshow -i audio="virtual-audio-capturer" a-system.aac
# 系统+麦克风声音：
ffmpeg -f dshow -i audio="麦克风 (Realtek(R) Audio)" -f dshow -i audio="virtual-audio-capturer" -filter_complex
amix=inputs=2:duration=first:dropout_transition=2 record_audio.aac(中文会乱码)
# 同时录制声音和视频（默认参数）
ffmpeg -f dshow -i audio="麦克风 (Realtek Audio)" -f dshow -i audio="virtual-audio-capturer" -filter_complex amix=inputs=2:duration=first:dropout_transition=2 -f dshow -i video="screen-capture-recorder" -y av-out.flv(中文会乱码)
- 指定参数录制
ffmpeg -f dshow -i audio="virtual-audio-capturer" -f dshow -video_size 1920x1200 -framerate 30 -pixel_format yuv420p -i video="screen-capture-recorder" -vcodec h264_qsv -b:v 3M -y av-out.flv
4.3 ffmpeg转码
4.4 ffmpeg流媒体
4.4.1 ffmpeg和ffplay拉取直播流
ffplay rtmp://server/live/streamName
# 对于不是rtmp的协议 -c copy要谨慎使用
ffmpeg -i rtmp://server/live/streamName -c copy dump.flv
4.5 ffmpeg滤镜
4.5.1 滤镜分类
按照处理的类型，可分为：
- 音频filter
- 视频filter
- 字幕filter
按照编解码的的位置划分：
- prefilter：解码前
- intrafilters：解码时
- postfilter：解码后
FFmpeg 中 filter 分为：
- source filter （只有输出）
- audio filter
- video filter
- Multimedia filter
- sink filter （只有输入）
除了 source 和 sink filter，其他 filter 都至少有一个输入、至少一个输出。
4.5.2 裁剪语法
将输入视频帧的宽度和高度从x和y值表示的位置裁减到指定的宽度和高度，x和y是输出的左上角坐标，协调系统的中心是输入视频帧的左上角。
如果使用了可选的keep_aspect参数，将会改变输出SAR（样本宽比）以补偿新的DAR（显示长宽比）
语法：
crop=ow[:oh[:x[:y[:keep_aspect]]]]
| 变量 | 用于ow和oh参数的表达式中的可用变量 |
|---|---|
| x,y | 对x的计算值（从左上角水平方向的像素个数）有何y（垂直像素的数量），对每个帧进行评估，x的默认值为(iw-ow)/2,y的默认值为(ih-oh)/2 |
| in_w,iw | 输入宽度 |
| in_h,ih | 输入的高度 |
| out_w,ow | 输出(裁剪)宽度，默认值=iw |
| out_h,oh | 输出(裁剪)高度，默认值=ih |
| a | 纵横比，与iw/ih相同 |
| sar | 输入样本比例 |
| dar | 输入显示宽比，等于表达式a * sar |
| hsub,vsub | 水平和垂直的色度子样本值，对于像素格式yuv422p,hsub的值为2，vsub为1 |
| n | 输入帧的数目，从0开始 |
| pos | 位置在输入框中，如果不知道nan |
| t | 时间戳以秒表示,如果输入的时间是未知则是NAN |
4.5.3 裁剪实例
# 可以直接看效果
# iw/3裁剪的宽度为源宽度的1/3，ih裁剪的高度为源高度，iw/3*2从图像的宽2/3处开始裁剪，0从源高度就开始裁剪
ffplay -i input.jpg -vf crop=iw/3:ih:iw/3*2:0
ffmpeg -i input.jpg -vf crop=iw/3:ih:iw/3*2:0 out.jpg
- 裁剪 100x100 的区域，起点为(12,34).
ffplay -i input.jpg -vf crop=100:100:12:34
# 相同效果:
ffplay -i input.jpg -vf crop=w=100:h=100:x=12:y=34
- 裁剪中心区域，大小为 100x100
ffplay -i input.jpg -vf crop=100:100
- 裁剪中心区域，大小为输入视频的 2/3
ffplay -i input.jpg -vf crop=iw*2/3:ih*2/3
- 裁剪中心区域的正方形，高度为输入视频的高
ffplay -i input.jpg -vf crop=ih
- 裁剪偏移左上角 100 像素
ffplay -i input.jpg -vf crop=iw-100:ih-100:100:100
- 裁剪掉左右 10 像素，上下 20 像素
ffplay -i input.jpg -vf crop=iw-2*10:ih-2*20
- 裁剪右下角区域
ffplay -i input.jpg -vf crop=in_w/2:in_h/2:in_w/2:in_h/2
4.5.4 添加文字水印
参考资料
五、ffplay命令
5.1 ffplay命令格式
ffplay [options] input_file
5.2 ffplay播放控制
| 按键 | 说明 | 按键 | 说明 |
|---|---|---|---|
| q,ESC | 推出播放 | t | 循环切换字幕流 |
| f/鼠标左键双击 | 全屏切换 | c | 循环切换节目 |
| p,SPC | 暂停 | w | 循环切换过滤器或显示模式 |
| m | 静音切换 | s | 逐帧播放 |
| 9，0 | 9减少音量，0增加音量 | left/right | 向后/向前拖动10秒 |
| /，* | /减少音量，*增加音量 | down/up | 向后/向前拖动一分钟 |
| a | 循环切换音频流 | 鼠标右键单击 | 拖动与显示宽度对应百分比的文件进行播放 |
| v | 循环切换视频流 |
5.3 ffplay主要选项
| 选项 | 说明 |
|---|---|
| -x width | 强制显示宽度 |
| -y height | 强制显示高度 |
| -video_size siz | 设置显示帧存储 |
| -pixel_format format | 设置像素格式 |
| -fs | 以全屏模式启动 |
| -an | 禁用音频（不播放声音） |
| -vn | 禁用视频 |
| -sn | 禁用字幕 |
| -ss pos | 根据设置的秒进行定位拖动。 |
| -t duration | 设置播放视频/音频长度 |
| -byes | 按字节进行定位拖动（0=off，1=on，-1=auto） |
| -seek_interval interval | 自定义左/右键定位拖动间隔（以秒为单位），默认值为10秒 |
| -nodisp | 关闭图形化显示窗口，视频将不显示 |
| -noborder | 无边框窗口 |
| -volume vol | 设置其实音量。范围【0-100】 |
| -f fmt | 强制使用设置的格式进行解析，比如 -f 16le |
| -window_title title | 设置窗口标题 |
| -loop number | 设置循环播放次数 |
| -showmode mode | 设置显示模式，0 - 显示视频，1显示音频波形，2显示音频频谱 |
| -vf filtergraph | 设置视频滤镜 |
| -af filtergraph | 设置音频滤镜 |
5.4 ffplay高级选项
| 选项 | 说明 |
|---|---|
| -stats | 打印多个回放统计信息，包括显示流持续时间，编解码参数，流中的当前位置，以及音频/视频同步差值。默认情况下处于开启状态，要显示禁用它则需要指定nostats |
| -fast | 非标准化规范的多媒体兼容优化 |
| -genpts | 生产pts |
| -sync type | 同步类型，将主时钟设置为audio，video或external，默认audio为主时钟 |
| -ast audio_stram_specifier | 指定音频流索引，不如-ast 3，播放流索引为3的音频流 |
| -vst video_stream_specifiler | 指定视频流索引，比如-vst4，播放流索引为4的视频流 |
| -sst subtitle_stream_specifier | 指定字幕流索引，比如-sst5,播放流索引为5的字幕流 |
| -autoexit | 视频播放完毕后推出 |
| -exitonkeydown | 键盘按下任何键推出播放 |
| -codec：media_specifier_codec_name | 强制使用设置的多媒体解码器，media_specifier可用值为a（音频）、v（视频）和s（字幕）。比如-codec：v h264_qsv强制视频采用h264_qsv解码 |
| -acodec codec_name | 强制使用设置的音频解码器进行音频解码 |
| -scodec codec_name | 强制使用设置的字幕解码器进行字幕解码 |
| -autorotate | 根据文件元数据自动旋转视频。值为0或1，默认为1 |
| -framedrop | 如果视频不同步则丢弃视频帧。当主时钟非视频时钟时默认开启。若需禁用则使用-noframedrop |
| -infbuf | 不限制输入缓冲区大小。尽可能快地从输入中读取尽可能多的数据。播放实时流时默认启用。如果未及时读取数据，则可能会丢弃数据。此选项将不限制缓冲区的大小。如需禁用则使用-noinfbuf |
5.5 其他选项
5.6 播放示例
- 播放本地文件
- ffplay -window_title "test time" -ss 2 -t 10 -autoexit test.mp4
- ffplay buweishui.mp3
- 播放网络流
- ffplay -window_title "rtmp stream" rtmp://202.69.69.180:443/webcast/bshdlive-pc
- 强制解码器
- mpeg4解码器：ffplay -vcodec mpeg4 test.mp4
- h264解码器：ffplay -vcodec h264 test.mp4
- 禁用音频或视频
- 禁用音频：ffplay test.mp4 -an
- 禁用视频：ffplay test.mp4 -vn
- 播放YUV数据
- ffplay -pixel_format yuv420p -video_size 320x240 -framerate 5 yuv420p_320x240.yuv
- 播放RGB数据
- ffplay -pixel_format rgb24 -video_size 320x240 -i rgb24_320x240.rgb
- ffplay -pixel_format rgb24 -video_size 320x240 -framerate 5 -i rgb24_320x240.rgb
- 播放PCM数据
- ffplay -ar 48000 -ac 2 -f f32le 48000_2_f32le.pcm
-ar set audio sampling rate (in Hz) (from 0 to INT_MAX) (default 0)
-ac set number of audio channels (from 0 to INT_MAX) (default 0)
5.7 过滤器
- 视频旋转
ffplay -i test.mp4 -vf transpose=1
- 视频反转
ffplay test.mp4 -vf hflip
ffplay test.mp4 -vf vflip
- 视频旋转和反转
ffplay test.mp4 -vf hflip,transpose=1
- 音频变速播放
ffplay -i test.mp4 -af atempo=2
- 视频变速播放
ffplay -i test.mp4 -vf setpts=PTS/2
- 音视频同时变速
ffplay -i test.mp4 -vf setpts=PTS/2 -af atempo=2
