ffmpeg开发播放器学习笔记 - 完善播放控制

视频在播放过程中如果没有基本的播放控制功能,只能从头一直正常的播放到结束是一件非常糟糕的事。该节就来解决这个看起来很简单但又非常重要的问题。

✅ 第一节 - Hello FFmpeg
✅ 第二节 - 软解视频流,渲染 RGB24
✅ 第三节 - 认识YUV
✅ 第四节 - 硬解码,OpenGL渲染YUV
✅ 第五节 - Metal 渲染YUV
✅ 第六节 - 解码音频,使用AudioQueue 播放
✅ 第七节 - 音视频同步
🔔 第八节 - 完善播放控制
📗 第九节 - 倍速播放
📗 第十节 - 增加视频过滤效果
📗 第十一节 - 音频变声

该节 Demo 地址: github.com/czqasngit/f…
实例代码提供了Objective-C与Swift两种实现,为了方便说明,文章引用的是Objective-C代码,因为Swift代码指针看着不简洁。
该节最终效果如下图:

55601616035615_.pic_hd.jpg

目标

实现播放与暂停
实现前进与后退
实现拖动滑块改变播放时间点

实现播放与暂停

音频的播放与图像的渲染是分开的,需要分别对音频播放与图像渲染分开控制即可音频使用了AudioQueu,所以它的的暂停与播放控制代码如下:

- (void)pause {
    AudioQueuePause(audioQueue);
    NSLog(@"[音频]暂停");
}
- (void)resume {
    AudioQueueStart(audioQueue, NULL);
    NSLog(@"[音频]恢复");
}

视频则是通过定时器进行控制的,所以它的暂停与播放控制代码如下:

- (void)startVideoRender {
    if(self->video_render_timer) {
        dispatch_source_cancel(self->video_render_timer);
    }
    self->video_render_timer = dispatch_source_create(DISPATCH_SOURCE_TYPE_TIMER, 0, 0, video_render_dispatch_queue);
    float duration = 1.0 / self.fps * NSEC_PER_SEC;
    dispatch_source_set_timer(self->video_render_timer, DISPATCH_TIME_NOW, duration, duration);
    dispatch_source_set_event_handler(self->video_render_timer, ^{
        [self playNextVideoFrame];
    });
    dispatch_resume(self->video_render_timer);
}

- (void)stopVideoRender {
    if(self->video_render_timer) dispatch_cancel(self->video_render_timer);
    self->video_render_timer = NULL;
}
#pragma mark - Public
- (void)start {
    [self startVideoRender];
}
- (void)stop {
    [self stopVideoRender];
}
- (void)pause {
    [self stop];
}
- (void)resume {
    [self start];
}

暂停与播放实现比较简单

实现前进与后退

在实现前进与后退之前,需要实现播放的seek功能,即设置视频的播放时间点。好在ffmpeg已经内置了这个功能,但是还是有一些细节需要特别注意与处理

实现seek到具体某个时间点的功能

ffmpeg提供了seek的功能,它的定义如下:

int av_seek_frame(AVFormatContext *s, 
                  int stream_index, 
                  int64_t timestamp,
                  int flags)

stream_index: 需要操作的目标流AVStream,如果设置成-1则由ffmpeg自动操作选择一个默认的对象
timestamp: 设置需要seek到的时间点,它的单位是AVStream.time_base
flags:定义的枚举如下

#define AVSEEK_FLAG_BACKWARD 1 ///< 在设置的时间点向前找关键帧作为最终设置的目标时间点
#define AVSEEK_FLAG_BYTE     2 ///< 基于字节进行设置
#define AVSEEK_FLAG_ANY      4 ///< 设置到任意帧,如果该帧不是关键帧则丢弃向后寻找关键帧
#define AVSEEK_FLAG_FRAME    8 ///< 设置到任意帧,如果该帧不是关键帧则丢弃向后寻找关键帧

如果的设置实例代码如下:

av_seek_frame(self->formatContext, -1, time * AV_TIME_BASE, AVSEEK_FLAG_BACKWARD);

完整的seek流程是这样的:

1.暂停播放器
2.清空音频与图像播放列队中的缓冲数据
3.清空音频播放器AudioQueue中的缓冲数据
4.清空ffmpeg中解码缓冲数据
5.调用av_seek_frame
6.唤醒解码线程继续解码
7.恢复播放器继续播放完整实例代码如下:

- (void)seekTo:(float)time {
    [self pause];
    [self.audioFrameCacheQueue clean];
    [self.videoFrameCacheQueue clean];
    pthread_mutex_lock(&(self->mutex));
    avcodec_flush_buffers([_mediaVideoContext codecContext]);
    avcodec_flush_buffers([_mediaAudioContext codecContext]);
    [self.audioPlayer cleanQueueCacheData];
    av_seek_frame(self->formatContext, -1, time * AV_TIME_BASE, AVSEEK_FLAG_BACKWARD);
    _NotifyWaitThreadWakeUp(self.decodeCondition);
    pthread_mutex_unlock(&(self->mutex));
    [self resume];
}

实现前进与后退

在seek的功能上实现前进与后退就变得非常简单了:

/// 后退
[self seekTo:self.currentTime - 3];
/// 前进
[self seekTo:self.currentTime + 3];

实现拖动滑块改变播放时间点

拖动的实现也是基于seek功能,这里需要注意一点的是在点击滑动的时候需要将播放暂停,在AppKit中使用NSSlider实现这一功能时需要单独实现

@interface _NSSlider : NSSlider
@property (nonatomic, strong)void(^mouseDownBlock)(void);
@end
@implementation _NSSlider

- (void)mouseDown:(NSEvent *)event {
    NSLog(@"滑动: 鼠标按下");
    self.mouseDownBlock();
    [super mouseDown:event];
}

@end

_NSSlider的变量continuous值设置成false,关闭拖动过程中连续的事件回调,只保留最后鼠标弹起来时的最后一次回调即可。在playerReadyToPlay回调函数中设置好_NSSlider的maxValue与minValue。通过设置_NSSlider的action与target可以得到回调时具体需要seek的时间点。

 [self seekTo:sender.floatValue];

到此基本的视频控制功能就已经实现好了,具体的实现代码请查看git repo对应的tag。如果基于iOS UI上的实现更简单。AppKit的交互实现不是太友好。

总结:

实现播放与暂停,通过对音频播放与图像渲染分别进行暂停与播放的控制。
实现前进与后退,在seek实现的基础上轻松实现前进与快退。
实现拖动滑块改变播放时间点,在seek的实现基础上轻松实现拖动功能,但需要特别注意NSSlider的实现。

更多内容请关注微信公众号<<程序猿搬砖>>