Qt-音视频开发

一、前言 之前用ffmpeg打通了各种视频文件和视频流以及本地摄像头设备的采集，近期有个客户需求要求将整个桌面屏幕采集下来，并可以录制保存成MP4文件，以前也遇到过类似的需求，由于没有搞过，也没有精力

一、前言 基本上各种播放器提供的录制视频接口，都是只有开始录制和结束录制两个，当然一般用的最多的也是这两个接口，但是实际使用过程中，还有一种可能需要中途暂停录制，暂停以后再次继续录制，将中间部分视频不

一、前言 在和视频交互过程中，用户一般需要在显示视频的通道上点击对应的区域，弹出对应的操作按钮，将当前点击的区域或者绘制的多边形区域坐标或者坐标点集合，发送出去，通知其他设备进行处理。比如识别到很多人

一、功能特点 1.1 文件推流 指定网卡和监听端口，接收网络请求推送音视频等各种文件。 实时统计显示每个文件对应的访问数量、总访问数量、不同IP地址访问数量。 可指定多种模式，0-直接播放、1-下载播

一、前言 如果网络环境正常设备正常，视频监控系统一般都是按照正常运行下去，不会出现什么问题，但是实际情况会很不同，奇奇怪怪七七八八的问题都会出现，就比如网络出了问题都有很多情况（交换机故障、网线故障、

一、前言 视频文件一般会有两个声音通道及左右声道，值有时候一样有时候不一样，很多场景下我们需要对其分开计算不同的音量值，在QAudioFormat中可以获取具体有几个通道，如果是一个通道，则左右通道值

一、前言 做开发过程中难免遇到需要引入第三方库的时候，而且需要在不同库版本、不同系统、不同位数下都需要。第三方的库版本众多，一般在大版本中的小版本都是兼容的，但是大版本不兼容，比如ffmpeg目前就有

一、前言 如果采用的vlc句柄模式，如果鼠标停留在句柄控件中会发现在打开后鼠标打圈圈，mpv句柄模式是在关闭后鼠标打圈圈，这两者真是一前一后，这种给人的体验其实很不友好的，播放开始后或者播放完成后鼠标

一、前言 使用qmediaplayer来打开视频并播放，默认首选会采用QVideoWidget控件来展示，优点是不用自己来绘制，一切交给了QVideoWidget控件，这样可以做到极低的CPU占用，缺

一、前言 在qt5中的多媒体框架明显比qt4丰富了很多，使用也极其友好，提供的api接口非常简单明了，不需要像qt4中那样还需要绑定和创建路径之类的。同样也还是依赖本地解码器，qt6中的多媒体框架据说

一、前言 在Qt4中如果需要播放视频，一般用phonon多媒体框架，这应该就是Qt5/Qt6中多媒体框架的前身（查阅qmultimedia模块的相关代码可以发现架构几乎雷同，除了部分命名变了以外），p

一、前言 有了解码当然对应又有编码，编码是信息从一种形式或格式转换为另一种形式的过程也称为计算机编程语言的代码简称编码。用预先规定的方法将文字、数字或其它对象编成数码，或将信息、数据转换成规定的电脉冲

一、前言 一开始用ffmpeg做的是视频流的解析，后面增加了本地视频文件的支持，到后面发现ffmpeg也是支持本地摄像头设备的，只要是原则上打通的比如win系统上相机程序、linux上茄子程序可以正常

一、前言 用手机或者平板拍摄的视频文件，很可能是旋转的，比如分辨率是1280x720，确是垂直的，相当于分辨率变成了720x1280，如果不做旋转处理的话，那脑袋必须歪着看才行，这样看起来太难受，所以

一、前言 视频监控系统做到后面，逐渐需要搭配人工智能算法，将算法计算后的信息以OSD标签以及方框各种图形的信息显示到视频中，这种当然和OSD一样也是有两种方式，一种是源头就贴好了，一种是将结果发给软件

一、前言 采用painter的方式绘制解码后的图片，方式简单易懂，巨大缺点就是占CPU，一个两个通道还好，基本上CPU很低，但是到了16个64个通道的时候，会发现CPU也是很吃紧（当然强劲的电脑配置另

一、前言 采集到的图片，用painter绘制是最基础的方式，初学者可能第一次尝试显示图片用的qlabel的setpixmap，用下来会发现卡成屎，第二次尝试用样式表设置背景图，依然卡成屎，最终选用pa

一、前言 以前一直以为只有Qt5以后才有QAudioOutput播放音频，其实从Qt4.6开始就有，在Qt6中变成了QAudioSink，功能一样。用QAudioOutput播放音频pcm数据极其方便

一、前言 搞过vlc内核后又顺带搞了搞mpv内核，mpv相比vlc，在文件数量、sdk开发便捷性方面绝对占优势的，单文件（可能是静态编译），不像vlc带了一堆插件，通过各种属性来set和get值，后面

一、前言 在vlc默认提供的保存文件方式中，通过打开的时候传入指定的参数来保存文件，直到关闭播放生成文件，这种方式简单暴力，但是不适用大部分的场景，大部分时候需要的是提供开始录制和停止录制的功能，也就