Android-NDK-014-ffplay- 详解

凤邪摩羯
690 阅读9分钟

FFplay 是 FFmpeg 提供的一个简单的多媒体播放器，主要用于测试和演示 FFmpeg 的功能。它是一个轻量级、跨平台的工具，可以播放视频、音频文件以及流媒体。

以下是对 FFplay 的详细解析，包括其功能、基本用法和内部实现机制。

一、FFplay 的主要特点

  1. 轻量级播放器：

    • FFplay 基于 FFmpeg 库构建，使用了 libavformat、libavcodec、libavfilter 和 SDL 库。
    • 提供简单的播放功能，适用于快速测试多媒体文件。

  2. 支持的媒体格式广泛：

    • 支持 FFmpeg 支持的所有格式和协议，如 MP4、MKV、AVI、MP3、AAC，以及流媒体协议（如 RTSP、HTTP、RTMP）。

  3. 跨平台：

    • 支持 Linux、macOS 和 Windows。

  4. 高度可定制：

    • 通过命令行参数控制播放行为。
    • 支持多种滤镜和参数调整。

二、FFplay 的基本用法

以下是 FFplay 常用命令的表格总结：

命令说明示例
基本播放命令播放指定的音视频文件。ffplay input.mp4
播放流媒体播放 RTSP、HTTP 等协议的流媒体。ffplay rtsp://example.com/stream
设置窗口大小设置播放窗口的宽度和高度。ffplay -x 640 -y 480 input.mp4
控制音量设置播放音量（范围 0-100）。ffplay -volume 50 input.mp4
设置起始时间设置从视频的某个时间点开始播放，单位为秒。ffplay -ss 30 input.mp4
跳过音频或视频跳过音频或视频，只播放音频或视频。ffplay -vn input.mp4 ffplay -an input.mp4
调整视频比例和缩放设置视频播放时的缩放比例。ffplay -vf "scale=640:480" input.mp4
调整视频显示位置设置视频显示的位置。ffplay -x 640 -y 480 -left 100 -top 50 input.mp4
设置播放延迟设置视频的播放延迟，单位为秒。ffplay -itsoffset 2 input.mp4
跳过帧跳过非关键帧，加速播放。ffplay -skip_frame nokey input.mp4
使用硬件加速启用硬件加速播放（根据系统支持）。ffplay -hwaccel vaapi input.mp4
显示媒体信息显示音视频文件的详细信息。ffplay -i input.mp4
调试信息设置日志级别，显示详细的调试信息。ffplay -loglevel debug input.mp4
播放循环设置视频在播放结束后循环播放。ffplay -loop 1 input.mp4
显示字幕加载字幕文件并在播放时显示。ffplay input.mp4 -sub input.srt
使用音频延迟调整音频延迟，单位为毫秒。`ffplay -af "adelay=1000
显示视频输出设备列出视频输出设备。ffplay -list_devices true -f dshow -i video="video_name"
显示帧率和分辨率设置视频的帧率和分辨率。ffplay -vf "fps=30" input.mp4
完整命令示例包含多个选项的命令示例，演示了如何组合多个功能。ffplay -ss 10 -x 1280 -y 720 -vf "scale=1280:720" -volume 50 -loop 1 -an input.mp4

这个表格总结了 FFplay 最常用的命令和选项，可以帮助你快速了解如何使用它进行音视频播放、控制以及调试等操作。

三、FFplay 的核心选项

输入选项

  • -fs：全屏播放。
  • -an：禁止音频输出。
  • -vn：禁止视频输出。
  • -sn：禁止字幕。
  • -i：指定输入文件。

视频选项

  • -vf：应用视频滤镜。例如：

    
复制编辑
ffplay -vf "hue=s=0" input.mp4  # 将视频转为黑白

  • -x 和 -y：设置视频窗口的宽度和高度。

  • -framedrop：启用帧丢弃（在播放性能不足时丢帧保持流畅）。

音频选项

  • -af：应用音频滤镜。例如：

    bash
复制编辑
ffplay -af "volume=0.5" input.mp3  # 将音量调低为原来的 50%

  • -nodisp：仅播放音频，不显示视频画面。

网络选项

  • -rtsp_transport：设置 RTSP 的传输协议（tcp/udp）。
  • -timeout：指定网络超时时间（单位：微秒）。

四、FFplay 的实现原理

FFplay 的实现主要分为以下几个部分：

1. 媒体解封装

  • 使用 FFmpeg 的 libavformat 解析输入文件或流媒体，提取多媒体流信息。
  • 通过 avformat_open_input 和 avformat_find_stream_info 获取音视频流。

2. 解码

  • 使用 libavcodec 解码音视频流。
  • 通过 avcodec_receive_frame 和 avcodec_send_packet 提取解码后的音视频帧。

3. 音视频同步

  • 基于 PTS（Presentation Timestamp）进行音视频同步，确保播放流畅。
  • 实现 A-V 同步的方式主要是调整音视频的播放时间，或通过丢帧保持同步。

4. 渲染

  • 使用 SDL 库将视频帧渲染到窗口。
  • 使用 SDL_AudioCallback 播放音频帧。

5. 事件处理

  • 处理用户输入（键盘、鼠标事件）：

    • 按键 q：退出播放。
    • 按键 f：切换全屏模式。
    • 按键 p 或 空格：暂停/继续播放。

五、FFplay 的局限性

  1. 简化功能：

    • FFplay 是一个示例程序，并未优化为全功能播放器，缺少高级功能如播放列表、UI 界面。

  2. 硬件解码支持有限：

    • 支持硬件加速，但需要配置硬件驱动和正确的 FFmpeg 构建参数。

  3. 高延迟：

    • 对于实时流媒体，FFplay 的默认设置可能会导致较高的播放延迟。

六、FFplay 的实际应用场景

  1. 快速测试：

    • 测试音视频文件的解码、封装格式或媒体流 URL。

  2. 开发调试：

    • 配合 FFmpeg 的其他工具，测试编码、解码、滤镜等功能。

  3. 学习参考：

    • 研究 FFmpeg 的解码和同步机制，为自定义播放器开发提供参考。

七、如何编译和运行 FFplay

要在 macOS 上编译 FFplay，您需要先安装一些必备的工具和依赖，然后配置 FFmpeg 源代码进行编译。以下是详细步骤：

步骤 1：安装 Homebrew

如果还没有安装 Homebrew，可以通过以下命令安装它：

bash
复制编辑
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

步骤 2：安装依赖

FFplay 需要 SDL2 库以及其他一些必备的库，您可以通过 Homebrew 安装它们：

bash
复制编辑
brew install sdl2
brew install yasm
brew install nasm
  • SDL2：用于处理图形和音频显示。
  • Yasm 和 Nasm：是汇编编译器，FFmpeg 的一些部分需要它们来进行汇编优化。

步骤 3：下载 FFmpeg 源代码

从 FFmpeg 官方 Git 仓库获取最新的源代码：

bash
复制编辑
git clone https://git.ffmpeg.org/ffmpeg.git ffmpeg
cd ffmpeg

步骤 4：配置 FFmpeg

配置 FFmpeg，启用 ffplay 和 SDL2 支持。运行以下命令：

bash
复制编辑
./configure --enable-ffplay --enable-sdl2 --disable-debug --enable-shared --disable-static
  • --enable-ffplay：启用 FFplay。
  • --enable-sdl2：启用 SDL2 支持（用来显示视频和音频）。
  • --disable-debug：禁用调试信息，减小二进制文件的大小。
  • --enable-shared：生成共享库文件（.dylib）。
  • --disable-static：不生成静态库文件。

步骤 5：编译 FFmpeg

在 FFmpeg 源代码目录下运行 make 命令进行编译：

bash
复制编辑
make -j$(sysctl -n hw.ncpu)

这个命令会根据您的 CPU 核心数并行编译，速度较快。如果只是想简单编译，可以将 -j$(sysctl -n hw.ncpu) 省略，默认单核编译。

步骤 6：安装 FFmpeg（可选）

如果您希望将 FFmpeg 安装到系统路径中，可以使用以下命令：

bash
复制编辑
sudo make install

这会将 ffplay 和其他 FFmpeg 工具安装到 /usr/local/bin，便于在任何地方直接调用。

步骤 7：验证安装

安装完成后，您可以使用以下命令验证 ffplay 是否成功安装：

bash
复制编辑
ffplay -version

如果成功，您将看到 FFplay 的版本信息。

步骤 8：使用 FFplay 播放视频

一旦编译并安装了 ffplay，您可以使用它来播放视频：

bash
复制编辑
ffplay your_video_file.mp4

常见错误及解决方法

  1. 缺少 SDL2 库： 如果编译过程中提示找不到 SDL2 库，可以确保通过 Homebrew 安装了 sdl2：

    bash
复制编辑
brew install sdl2

  2. 编译时 make 错误： 如果在 make 阶段遇到错误，检查是否有缺少的依赖库或者配置错误。可以尝试清理旧的编译文件并重新开始：

    bash
复制编辑
make distclean
./configure --enable-ffplay --enable-sdl2 --disable-debug --enable-shared --disable-static
make -j$(sysctl -n hw.ncpu)

  3. 运行时错误：ffplay 无法启动： 如果安装后遇到运行时错误，确认您的 PATH 是否包含 /usr/local/bin，可以使用以下命令查看：

    bash
复制编辑
echo $PATH

    如果没有 /usr/local/bin，请手动添加：

    bash
复制编辑
export PATH=/usr/local/bin:$PATH

八、FFplay 源码解析

FFplay播放器流程

FFplay播放器流程.png

下面是 ffplay 播放流程的详细说明：

1. 初始化和配置

ffplay 启动时，首先会进行一些必要的初始化和配置。这包括设置输入文件、解码器、输出格式、显示和音频输出等。

  • ffplay 启动后首先通过 avformat_open_input() 打开媒体文件或流。
  • 它使用 avformat_find_stream_info() 查找媒体流的信息，获取音频流和视频流的相关数据。
  • 在成功获取流信息后，ffplay 还会调用 avcodec_find_decoder() 找到合适的解码器。
  • 接下来，ffplay 会为每个流创建解码器上下文（通过 avcodec_alloc_context3()），并用解码器上下文初始化流信息。

2. 解封装

FFmpeg 需要从媒体文件中提取数据，这个过程叫做 解封装。ffplay 使用 FFmpeg 提供的解封装器来处理各种多媒体格式。

  • 调用 avformat_read_frame() 读取文件中的数据包（Packet）。对于视频文件，数据包会包含视频帧，音频文件则包含音频帧。
  • ffplay 会将解封装得到的数据包送入相应的解码器进行解码。

3. 解码

在解封装的过程中，ffplay 会为每个流（音频流和视频流）分别选择合适的解码器，并将数据包通过解码器进行解码。

  • 对于视频流，ffplay 调用 avcodec_send_packet() 将解封装后的数据包发送给解码器，然后调用 avcodec_receive_frame() 获取解码后的帧（AVFrame）。
  • 对于音频流，ffplay 也会采用类似的流程，调用 avcodec_send_packet() 和 avcodec_receive_frame() 解码音频帧。

4. 同步

在播放视频时，音频和视频需要同步，以保证播放的流畅性和一致性。ffplay 实现了音视频同步的机制，确保视频帧和音频帧的时间戳是同步的。

  • ffplay 使用 时间戳 来同步音视频，通常会基于 音频 的时间戳来进行视频的同步。具体来说，视频帧的显示时间会基于音频帧的播放时间来调整。
  • 如果音频帧比视频帧提前播放，则 ffplay 会将视频帧延迟，直到音频帧的播放时间到来。

5. 音频播放

ffplay 使用 SDL（Simple DirectMedia Layer）库来输出音频。音频帧经过解码后，会被传递给 SDL 的音频缓冲区进行播放。

  • SDL 会周期性地读取缓冲区中的音频数据，并将其发送到操作系统的音频接口进行播放。
  • 音频播放过程涉及到使用 SDL_OpenAudio() 打开音频设备，并通过 SDL_PauseAudio() 控制音频播放。

6. 视频显示

与音频播放类似，ffplay 使用 SDL 来显示视频。视频帧（解码后的 AVFrame）会传递给 SDL 进行显示。

  • SDL_CreateWindow() 和 SDL_CreateRenderer() 用于创建一个窗口和渲染器，渲染器负责将视频帧渲染到窗口中。
  • 每个视频帧都有一个时间戳，ffplay 会通过视频的时间戳来控制视频帧的显示，确保视频的播放与音频保持同步。

7. 播放循环

一旦开始播放，ffplay 会进入一个循环，在这个循环中，它不断地从输入流中读取数据包，解码数据，进行音视频同步，并显示或播放解码后的帧。

  • 对于每一帧，ffplay 会读取数据包，解码，检查时间戳，并将音频和视频帧送到相应的播放/显示系统。
  • ffplay 会根据时间戳来调整音视频播放的速度，确保视频和音频的同步。

8. 退出播放

当播放完成或者用户停止播放时，ffplay 会释放资源，并关闭打开的文件、音视频设备等。

  • 调用 avformat_close_input() 关闭媒体文件。
  • 释放解码器上下文，销毁 SDL 播放器，清理内存。

FFplay 播放流程图

lua
复制编辑
  +------------------------+
  |   用户启动 ffplay      |
  +------------------------+
              |
              v
  +------------------------+
  |   打开媒体文件（avformat_open_input）|
  +------------------------+
              |
              v
  +------------------------+
  |  获取流信息（avformat_find_stream_info） |
  +------------------------+
              |
              v
  +------------------------+
  |   解封装数据（avformat_read_frame）   |
  +------------------------+
              |
              v
  +------------------------+
  | 解码视频和音频（avcodec_send_packet 和 avcodec_receive_frame） |
  +------------------------+
              |
              v
  +------------------------+
  |   音视频同步（时间戳同步）  |
  +------------------------+
              |
              v
  +------------------------+
  |   播放音频（SDL）   |
  +------------------------+
              |
              v
  +------------------------+
  |   渲染视频（SDL）   |
  +------------------------+
              |
              v
  +------------------------+
  |   播放循环，直到结束   |
  +------------------------+
              |
              v
  +------------------------+
  |   资源释放，退出        |
  +------------------------+

总结

FFplay 的播放流程主要包括以下几个步骤：

  1. 初始化和配置：加载文件和流信息，初始化解码器和输出设备。
  2. 解封装：从媒体文件中提取音频和视频流。
  3. 解码：通过解码器解码音频和视频流。
  4. 同步：确保音频和视频的同步播放。
  5. 播放音频：通过 SDL 播放音频。
  6. 渲染视频：通过 SDL 显示视频。
  7. 退出：释放资源，结束播放。

通过这一流程，ffplay 能够处理各种常见的视频格式并将其播放出来。

decode解码

decode.jpg

avatar
文章
阅读
粉丝