# 一、前言本系列文章是对音视频技术入门知识的整理和复习,为进一步深入系统研究音视频技术巩固基础。文章列表: - **[01-📝音视频技术核心知识|了解音频技术【移动通信技术的发展、声音的本质、深入了解音频】](https://juejin.cn/post/7254836680132231224)** - **[02-📝音视频技术核心知识|搭建开发环境【FFmpeg与Qt、Windows开发环境搭建、Mac开发环境搭建、Qt开发基础】](https://juejin.cn/post/7254834316017762361)** - **[03-📝音视频技术核心知识|Qt开发基础【`.pro`文件的配置、Qt控件基础、信号与槽】](https://juejin.cn/post/7254830852067917882)** - **[04-📝音视频技术核心知识|音频录制【命令行、C++编程】](https://juejin.cn/post/7254830852067967034)** - **[05-📝音视频技术核心知识|音频播放【播放PCM、WAV、PCM转WAV、PCM转WAV、播放WAV】](https://juejin.cn/post/7255117210510639163)** - **[06-📝音视频技术核心知识|音频重采样【音频重采样简介、用命令行进行重采样、通过编程重采样】](https://juejin.cn/post/7255123444454178875)** - **[07-📝音视频技术核心知识|AAC编码【AAC编码器解码器、编译FFmpeg、AAC编码实战、AAC解码实战】](https://juejin.cn/post/7255117210510819387)** - **[08-📝音视频技术核心知识|成像技术【重识图片、详解YUV、视频录制、显示BMP图片、显示YUV图片】](https://juejin.cn/post/7255126807552032827)** - **[09-📝音视频技术核心知识|视频编码解码【了解H.264编码、H.264编码、H.264编码解码】](https://juejin.cn/post/7255123444454326331)** - **[10-📝音视频技术核心知识|RTMP服务器搭建【流媒体、服务器环境】](https://juejin.cn/post/7255130512640704549)** # 二、 H.264编码 > 本文主要介绍一种非常流行的视频编码：[H.264](https://zh.wikipedia.org/wiki/H.264)。计算一下：10秒钟1080p（1920x1080）、30fps的YUV420P原始视频，需要占用多大的存储空间？ * (10 \* 30) \* (1920 \* 1080) \* 1.5 = 933120000字节 ≈ 889.89MB * 可以看得出来，原始视频的体积是非常巨大的由于网络带宽和硬盘存储空间都是非常有限的，因此，需要先使用视频编码技术（比如H.264编码）对原始视频进行压缩，然后再进行存储和分发。H.264编码的压缩比可以达到至少是100:1。 ## 1. 简介 H.264，又称为**MPEG-4 Part 10，Advanced Video Coding**。 * 译为：**MPEG-4第10部分，高级视频编码** * 简称：**MPEG-4 AVC** H.264是迄今为止视频录制、压缩和分发的最常用格式。截至2019年9月，已有91％的视频开发人员使用了该格式。H.264提供了明显优于以前任何标准的压缩性能。H.264因其是蓝光盘的其中一种编解码标准而著名，所有蓝光盘播放器都必须能解码H.264。 ## 2. 编码器 H.264标准允许制造厂商自由地开发具有竞争力的创新产品，它并没有定义一个编码器，而是定义了编码器应该产生的输出码流。 [x264](https://en.wikipedia.org/wiki/X264)是一款免费的高性能的H.264开源编码器。x264编码器在FFmpeg中的名称是**libx264**。 ```cpp AVCodec *codec = avcodec_find_encoder_by_name("libx264"); ``` ## 3. 解码器 H.264标准中定义了一个解码方法，但是制造厂商可以自由地开发可选的具有竞争力的、新的解码器，前提是他们能够获得与标准中采用的方法同样的结果。 FFmpeg默认已经内置了一个H.264的解码器，名称是**h264**。 ```cpp AVCodec *codec1 = avcodec_find_decoder_by_name("h264"); // 或者 AVCodec *codec2 = avcodec_find_decoder(AV_CODEC_ID_H264); ``` ## 4. 编码过程与原理 H.264的编程过程比较复杂，本文只介绍大体的框架和脉络，具体细节就不展开了。大体可以归纳为以下几个主要步骤： * 划分帧类型 * 帧内/帧间编码 * 变换 + 量化 * 滤波 * 熵编码 ### 4.1 划分帧类型有统计结果表明：在连续的几帧图像中，一般只有10%以内的像素有差别，亮度的差值变化不超过2%，而色度的差值变化只在1%以内。 #### 4.1.1 GOP 于是可以将一串连续的相似的帧归到一个图像群组（Group Of Pictures，**GOP**）。 ![GOP](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/fe4b18619c5841d4862ad7046321afba~tplv-k3u1fbpfcp-zoom-1.image) GOP中的帧可以分为3种类型： * **I**帧（I Picture、I Frame、Intra Coded Picture），译为：**帧内编码图像**，也叫做关键帧（Keyframe） * 是视频的第一帧，也是GOP的第一帧，一个GOP只有一个I帧 * 编码 * 对整帧图像数据进行编码 * 解码 * 仅用当前I帧的编码数据就可以解码出完整的图像 * 是一种自带全部信息的独立帧，无需参考其他图像便可独立进行解码，可以简单理解为一张静态图像 * **P**帧（P Picture、P Frame、Predictive Coded Picture），译为：**预测编码图像** * 编码 * 并不会对整帧图像数据进行编码 * 以前面的I帧或P帧作为参考帧，只编码当前P帧与参考帧的差异数据 * 解码 * 需要先解码出前面的参考帧，再结合差异数据解码出当前P帧完整的图像 * **B**帧（B Picture、B Frame、Bipredictive Coded Picture），译为：**前后预测编码图像** * 编码 * 并不会对整帧图像数据进行编码 * 同时以前面、后面的I帧或P帧作为参考帧，只编码当前B帧与前后参考帧的差异数据 * 因为可参考的帧变多了，所以只需要存储更少的差异数据 * 解码 * 需要先解码出前后的参考帧，再结合差异数据解码出当前B帧完整的图像不难看出，编码后的数据大小：I帧 > P帧 > B帧。 ![显示和编码顺序](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/a62e4658b2e14fc08df2e15044ba1be8~tplv-k3u1fbpfcp-zoom-1.image) 在较早的视频编码标准（例如MPEG-2）中，P帧只能使用一个参考帧，而一些现代视频编码标准（比如H.264），允许使用多个参考帧。 ![多个参考帧](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/68b49161655647dc9a73994ad0e96f49~tplv-k3u1fbpfcp-zoom-1.image) #### 4.1.2 GOP的长度 GOP的长度表示GOP的帧数。GOP的长度需要控制在合理范围，以平衡视频质量、视频大小（网络带宽）和seek效果（拖动、快进的响应速度）等。 * 加大GOP长度有利于减小视频文件大小，但也不宜设置过大，太大则会导致GOP后部帧的画面失真，影响视频质量 * 由于P、B帧的复杂度大于I帧，GOP值过大，过多的P、B帧会影响编码效率，使编码效率降低 * 如果设置过小的GOP值，视频文件会比较大，则需要提高视频的输出码率，以确保画面质量不会降低，故会增加网络带宽 * GOP长度也是影响视频seek响应速度的关键因素，seek时播放器需要定位到离指定位置最近的前一个I帧，如果GOP太大意味着距离指定位置可能越远（需要解码的参考帧就越多）、seek响应的时间（缓冲时间）也越长 #### 4.1.3 GOP的类型 GOP又可以分为开放（Open）、封闭（Closed）两种。 * Open * 前一个GOP的B帧**可以**参考下一个GOP的I帧 * Closed * 前一个GOP的B帧**不能**参考下一个GOP的I帧 * GOP不能以B帧结尾 ![长度为15的Open GOP](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/daa013284ffb47b09246b234c5b29393~tplv-k3u1fbpfcp-zoom-1.image) ![长度为15的Closed GOP](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/116a6df3b0d54509a7d9e3977e7a5ba3~tplv-k3u1fbpfcp-zoom-1.image) 需要注意的是： * 由于P帧、B帧都对前面的参考帧（P帧、I帧）有依赖性，因此，一旦前面的参考帧出现数据错误，就会导致后面的P帧、B帧也出现数据错误，而且这种错误还会继续向后传播 * 对于普通的I帧，其后的P帧和B帧可以参考该普通I帧之前的其他I帧在Closed GOP中，有一种特殊的I帧，叫做**IDR**帧（**I**nstantaneous **D**ecoder **R**efresh，译为：即时解码刷新）。 * 当遇到IDR帧时，会清空参考帧队列 * 如果前一个序列出现重大错误，在这里可以获得重新同步的机会，使错误不会继续往下传播 * 一个IDR帧之后的所有帧，永远都不会参考该IDR帧之前的帧 * 视频播放时，播放器一般都支持随机seek（拖动）到指定位置，而播放器直接选择到指定位置附近的IDR帧进行播放最为便捷，因为可以明确知道该IDR帧之后的所有帧都不会参考其之前的其他I帧，从而避免较为复杂的反向解析 ![IDR](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/7f74466c30de4d32bf5ac3d311a763aa~tplv-k3u1fbpfcp-zoom-1.image) ### 4.2 帧内/帧间编码 I帧采用的是帧内（Intra Frame）编码，处理的是空间冗余。 P帧、B帧采用的是帧间（Inter Frame）编码，处理的是时间冗余。 #### 4.2.1 划分宏块在进行编码之前，首先要将一张完整的帧切割成多个宏块（Macroblock），H.264中的宏块大小通常是16x16。宏块可以进一步拆分为多个更小的变换块（Transform blocks）、预测块（Prediction blocks）。 * 变换块的尺寸有：16x16、8x8、4x4 * 预测块的尺寸有：16×16、16×8、8×16、8×8、8×4、4×8、4×4 ![预测块](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/3a299e9e1f88412fb78c73f047bf33f5~tplv-k3u1fbpfcp-zoom-1.image) #### 4.2.2 帧内编码帧内编码，也称帧内预测。以4x4的预测块为例，共有9种可选的预测模式。 ![预测模式](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/2a4406167a864840b09558ca9ab40660~tplv-k3u1fbpfcp-zoom-1.image) ![预测模式描述](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/60b494fce5474b2786e2bd4f8b5b65ab~tplv-k3u1fbpfcp-zoom-1.image) 利用帧内预测技术，可以得到预测帧，最终只需要保留预测模式信息、以及预测帧与原始帧的残差值。编码器会选取最佳预测模式，使预测帧更加接近原始帧，减少相互间的差异，提高编码的压缩效率。 #### 4.2.3 帧间编码帧间编码，也称帧间预测，用到了运动补偿（Motion compensation）技术。编码器利用块匹配算法，尝试在先前已编码的帧（称为参考帧）上搜索与正在编码的块相似的块。如果编码器搜索成功，则可以使用称为运动矢量的向量对块进行编码，该向量指向匹配块在参考帧处的位置。在大多数情况下，编码器将成功执行，但是找到的块可能与它正在编码的块不完全匹配。这就是编码器将计算它们之间差异的原因。这些残差值称为预测误差，需要进行变换并将其发送给解码器。综上所述，如果编码器在参考帧上成功找到匹配块，它将获得指向匹配块的运动矢量和预测误差。使用这两个元素，解码器将能够恢复该块的原始像素。如果一切顺利，该算法将能够找到一个几乎没有预测误差的匹配块，因此，一旦进行变换，运动矢量加上预测误差的总大小将小于原始编码的大小。如果块匹配算法未能找到合适的匹配，则预测误差将是可观的。因此，运动矢量的总大小加上预测误差将大于原始编码。在这种情况下，编码器将产生异常，并为该特定块发送原始编码。 ### 4.3 变换与量化接下来对残差值进行DCT变换（Discrete Cosine Transform，译为离散余弦变换）。 ## 5. 规格 H.264的主要规格有： * Baseline Profile（BP） * 支持I/P帧，只支持无交错（Progressive）和CAVLC * 一般用于低阶或需要额外容错的应用，比如视频通话、手机视频等即时通信领域 * Extended Profile（XP） * 在Baseline的基础上增加了额外的功能，支持流之间的切换，改进误码性能 * 支持I/P/B/SP/SI帧，只支持无交错（Progressive）和CAVLC * 适合于视频流在网络上的传输场合，比如视频点播 * Main Profile（MP） * 提供I/P/B帧，支持无交错（Progressive）和交错（Interlaced），支持CAVLC和CABAC * 用于主流消费类电子产品规格如低解码（相对而言）的MP4、便携的视频播放器、PSP和iPod等 * High Profile（HiP） * 最常用的规格 * 在Main的基础上增加了8x8内部预测、自定义量化、无损视频编码和更多的YUV格式（如4:4:4） * High 4:2:2 Profile（Hi422P） * High 4:4:4 Predictive Profile（Hi444PP） * High 4:2:2 Intra Profile * High 4:4:4 Intra Profile * 用于广播及视频碟片存储（蓝光影片），高清电视的应用 # 三、H.264编码实战 > 本文的主要内容：使用H.264编码对YUV视频进行压缩。如果是命令行的操作，非常简单。 ```sh ffmpeg -s 640x480 -pix_fmt yuv420p -i in.yuv -c:v libx264 out.h264 # -c:v libx264是指定使用libx264作为编码器 ``` 接下来主要讲解如何通过代码的方式使用H.264编码，用到了**avcodec**、**avutil**两个库，整体过程跟《[AAC编码实战](https://www.cnblogs.com/mjios/p/14642335.html)》类似。 ## 1. 类的声明 ```cpp extern "C" { #include } typedef struct { const char *filename; int width; int height; AVPixelFormat pixFmt; int fps; } VideoEncodeSpec; class FFmpegs { public: FFmpegs(); static void h264Encode(VideoEncodeSpec &in, const char *outFilename); }; ``` ## 2. 类的使用 ```cpp VideoEncodeSpec in; in.filename = "F:/res/in.yuv"; in.width = 640; in.height = 480; in.fps = 30; in.pixFmt = AV_PIX_FMT_YUV420P; FFmpegs::h264Encode(in, "F:/res/out.h264"); ``` ## 3. 宏定义 ```cpp extern "C" { #include #include #include } #define ERROR_BUF(ret) \ char errbuf[1024]; \ av_strerror(ret, errbuf, sizeof (errbuf)); ``` ## 4. 变量定义 ```cpp // 文件 QFile inFile(in.filename); QFile outFile(outFilename); // 一帧图片的大小 int imgSize = av_image_get_buffer_size(in.pixFmt, in.width, in.height, 1); // 返回结果 int ret = 0; // 编码器 AVCodec *codec = nullptr; // 编码上下文 AVCodecContext *ctx = nullptr; // 存放编码前的数据（yuv） AVFrame *frame = nullptr; // 存放编码后的数据（h264） AVPacket *pkt = nullptr; ``` ## 5. 初始化 ```cpp // 获取编码器 codec = avcodec_find_encoder_by_name("libx264"); if (!codec) { qDebug() << "encoder not found"; return; } // 检查输入数据的采样格式 if (!check_pix_fmt(codec, in.pixFmt)) { qDebug() << "unsupported pixel format" << av_get_pix_fmt_name(in.pixFmt); return; } // 创建编码上下文 ctx = avcodec_alloc_context3(codec); if (!ctx) { qDebug() << "avcodec_alloc_context3 error"; return; } // 设置yuv参数 ctx->width = in.width; ctx->height = in.height; ctx->pix_fmt = in.pixFmt; // 设置帧率（1秒钟显示的帧数是in.fps） ctx->time_base = {1, in.fps}; // 打开编码器 ret = avcodec_open2(ctx, codec, nullptr); if (ret < 0) { ERROR_BUF(ret); qDebug() << "avcodec_open2 error" << errbuf; goto end; } // 创建AVFrame frame = av_frame_alloc(); if (!frame) { qDebug() << "av_frame_alloc error"; goto end; } frame->width = ctx->width; frame->height = ctx->height; frame->format = ctx->pix_fmt; frame->pts = 0; // 利用width、height、format创建缓冲区 ret = av_image_alloc(frame->data, frame->linesize, in.width, in.height, in.pixFmt, 1); if (ret < 0) { ERROR_BUF(ret); qDebug() << "av_frame_get_buffer error" << errbuf; goto end; } // 创建AVPacket pkt = av_packet_alloc(); if (!pkt) { qDebug() << "av_packet_alloc error"; goto end; } ``` ## 6. 编码 ```cpp // 打开文件 if (!inFile.open(QFile::ReadOnly)) { qDebug() << "file open error" << in.filename; goto end; } if (!outFile.open(QFile::WriteOnly)) { qDebug() << "file open error" << outFilename; goto end; } // 读取数据到frame中 while ((ret = inFile.read((char *) frame->data[0], imgSize)) > 0) { // 进行编码 if (encode(ctx, frame, pkt, outFile) < 0) { goto end; } // 设置帧的序号 frame->pts++; } // 刷新缓冲区 encode(ctx, nullptr, pkt, outFile); ``` encode函数的实现如下所示： ```cpp // 返回负数：中途出现了错误 // 返回0：编码操作正常完成 static int encode(AVCodecContext *ctx, AVFrame *frame, AVPacket *pkt, QFile &outFile) { // 发送数据到编码器 int ret = avcodec_send_frame(ctx, frame); if (ret < 0) { ERROR_BUF(ret); qDebug() << "avcodec_send_frame error" << errbuf; return ret; } // 不断从编码器中取出编码后的数据 while (true) { ret = avcodec_receive_packet(ctx, pkt); if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) { // 继续读取数据到frame，然后送到编码器 return 0; } else if (ret < 0) { // 其他错误 return ret; } // 成功从编码器拿到编码后的数据 // 将编码后的数据写入文件 outFile.write((char *) pkt->data, pkt->size); // 释放pkt内部的资源 av_packet_unref(pkt); } } ``` ## 7. 回收资源 ```cpp end: // 关闭文件 inFile.close(); outFile.close(); // 释放资源 if (frame) { av_freep(&frame->data[0]); av_frame_free(&frame); } av_packet_free(&pkt); avcodec_free_context(&ctx); ``` # 四、H.264解码实战 > 本文的主要内容：对H.264数据进行解码（解压缩）。如果是命令行的操作，非常简单。 ```sh ffmpeg -c:v h264 -i in.h264 out.yuv # -c:v h264是指定使用h264作为解码器 ``` 接下来主要讲解如何通过代码的方式解码H.264数据，用到了**avcodec**、**avutil**两个库，整体过程跟《[AAC解码实战](https://www.cnblogs.com/mjios/p/14646878.html)》类似。 ## 1. 类的声明 ```cpp extern "C" { #include } typedef struct { const char *filename; int width; int height; AVPixelFormat pixFmt; int fps; } VideoDecodeSpec; class FFmpegs { public: FFmpegs(); static void h264Decode(const char *inFilename, VideoDecodeSpec &out); }; ``` ## 2. 类的使用 ```cpp VideoDecodeSpec out; out.filename = "F:/res/out.yuv"; FFmpegs::h264Decode("F:/res/in.h264", out); qDebug() << out.width << out.height << out.fps << av_get_pix_fmt_name(out.pixFmt); ``` ## 3. 宏定义 ```cpp extern "C" { #include #include #include } #define ERROR_BUF(ret) \ char errbuf[1024]; \ av_strerror(ret, errbuf, sizeof (errbuf)); // 输入缓冲区的大小 #define IN_DATA_SIZE 4096 ``` ## 4. 变量定义 ```cpp // 返回结果 int ret = 0; // 用来存放读取的输入文件数据（h264） char inDataArray[IN_DATA_SIZE + AV_INPUT_BUFFER_PADDING_SIZE]; char *inData = inDataArray; // 每次从输入文件中读取的长度（h264） // 输入缓冲区中，剩下的等待进行解码的有效数据长度 int inLen; // 是否已经读取到了输入文件的尾部 int inEnd = 0; // 文件 QFile inFile(inFilename); QFile outFile(out.filename); // 解码器 AVCodec *codec = nullptr; // 上下文 AVCodecContext *ctx = nullptr; // 解析器上下文 AVCodecParserContext *parserCtx = nullptr; // 存放解码前的数据(h264) AVPacket *pkt = nullptr; // 存放解码后的数据(yuv) AVFrame *frame = nullptr; ``` ## 5. 初始化 ```cpp // 获取解码器 // codec = avcodec_find_decoder_by_name("h264"); codec = avcodec_find_decoder(AV_CODEC_ID_H264); if (!codec) { qDebug() << "decoder not found"; return; } // 初始化解析器上下文 parserCtx = av_parser_init(codec->id); if (!parserCtx) { qDebug() << "av_parser_init error"; return; } // 创建上下文 ctx = avcodec_alloc_context3(codec); if (!ctx) { qDebug() << "avcodec_alloc_context3 error"; goto end; } // 创建AVPacket pkt = av_packet_alloc(); if (!pkt) { qDebug() << "av_packet_alloc error"; goto end; } // 创建AVFrame frame = av_frame_alloc(); if (!frame) { qDebug() << "av_frame_alloc error"; goto end; } // 打开解码器 ret = avcodec_open2(ctx, codec, nullptr); if (ret < 0) { ERROR_BUF(ret); qDebug() << "avcodec_open2 error" << errbuf; goto end; } ``` ## 6. 解码 ```cpp // 打开文件 if (!inFile.open(QFile::ReadOnly)) { qDebug() << "file open error:" << inFilename; goto end; } if (!outFile.open(QFile::WriteOnly)) { qDebug() << "file open error:" << out.filename; goto end; } // 读取文件数据 do { inLen = inFile.read(inDataArray, IN_DATA_SIZE); // 设置是否到了文件尾部 inEnd = !inLen; // 让inData指向数组的首元素 inData = inDataArray; // 只要输入缓冲区中还有等待进行解码的数据 while (inLen > 0 || inEnd) { // 到了文件尾部（虽然没有读取任何数据，但也要调用av_parser_parse2，修复bug） // 经过解析器解析 ret = av_parser_parse2(parserCtx, ctx, &pkt->data, &pkt->size, (uint8_t *) inData, inLen, AV_NOPTS_VALUE, AV_NOPTS_VALUE, 0); if (ret < 0) { ERROR_BUF(ret); qDebug() << "av_parser_parse2 error" << errbuf; goto end; } // 跳过已经解析过的数据 inData += ret; // 减去已经解析过的数据大小 inLen -= ret; qDebug() << inEnd << pkt->size << ret; // 解码 if (pkt->size > 0 && decode(ctx, pkt, frame, outFile) < 0) { goto end; } // 如果到了文件尾部 if (inEnd) break; } } while (!inEnd); // 刷新缓冲区 // pkt->data = nullptr; // pkt->size = 0; // decode(ctx, pkt, frame, outFile); decode(ctx, nullptr, frame, outFile); // 赋值输出参数 out.width = ctx->width; out.height = ctx->height; out.pixFmt = ctx->pix_fmt; // 用framerate.num获取帧率，并不是time_base.den out.fps = ctx->framerate.num; end: inFile.close(); outFile.close(); av_packet_free(&pkt); av_frame_free(&frame); av_parser_close(parserCtx); avcodec_free_context(&ctx); ``` decode函数的实现如下所示： ```cpp static int decode(AVCodecContext *ctx, AVPacket *pkt, AVFrame *frame, QFile &outFile) { // 发送压缩数据到解码器 int ret = avcodec_send_packet(ctx, pkt); if (ret < 0) { ERROR_BUF(ret); qDebug() << "avcodec_send_packet error" << errbuf; return ret; } while (true) { // 获取解码后的数据 ret = avcodec_receive_frame(ctx, frame); if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) { return 0; } else if (ret < 0) { ERROR_BUF(ret); qDebug() << "avcodec_receive_frame error" << errbuf; return ret; } // 将解码后的数据写入文件 // 写入Y平面 outFile.write((char *) frame->data[0], frame->linesize[0] * ctx->height); // 写入U平面 outFile.write((char *) frame->data[1], frame->linesize[1] * ctx->height >> 1); // 写入V平面 outFile.write((char *) frame->data[2], frame->linesize[2] * ctx->height >> 1); } } ``` ## 7. 回收资源 ```cpp end: inFile.close(); outFile.close(); av_packet_free(&pkt); av_frame_free(&frame); av_parser_close(parserCtx); avcodec_free_context(&ctx); ``` # 专题系列文章 ## 1. 前知识 - **[01-探究iOS底层原理|综述](https://juejin.cn/post/7089043618803122183/)** - **[02-探究iOS底层原理|编译器LLVM项目【Clang、SwiftC、优化器、LLVM】](https://juejin.cn/post/7093842449998561316/)** - **[03-探究iOS底层原理|LLDB](https://juejin.cn/post/7095079758844674056)** - **[04-探究iOS底层原理|ARM64汇编](https://juejin.cn/post/7115302848270696485/)** ## 2. 基于OC语言探索iOS底层原理 - **[05-探究iOS底层原理|OC的本质](https://juejin.cn/post/7094409219361193997/)** - **[06-探究iOS底层原理|OC对象的本质](https://juejin.cn/post/7094503681684406302)** - **[07-探究iOS底层原理|几种OC对象【实例对象、类对象、元类】、对象的isa指针、superclass、对象的方法调用、Class的底层本质](https://juejin.cn/post/7096087582370431012)** - **[08-探究iOS底层原理|Category底层结构、App启动时Class与Category装载过程、load 和 initialize 执行、关联对象](https://juejin.cn/post/7096480684847415303)** - **[09-探究iOS底层原理|KVO](https://juejin.cn/post/7115318628563550244/)** - **[10-探究iOS底层原理|KVC](https://juejin.cn/post/7115320523805949960/)** - **[11-探究iOS底层原理|探索Block的本质|【Block的数据类型(本质)与内存布局、变量捕获、Block的种类、内存管理、Block的修饰符、循环引用】](https://juejin.cn/post/7115809219319693320/)** - **[12-探究iOS底层原理|Runtime1【isa详解、class的结构、方法缓存cache_t】](https://juejin.cn/post/7116103432095662111)** - **[13-探究iOS底层原理|Runtime2【消息处理(发送、转发)&&动态方法解析、super的本质】](https://juejin.cn/post/7116147057739431950)** - **[14-探究iOS底层原理|Runtime3【Runtime的相关应用】](https://juejin.cn/post/7116291178365976590/)** - **[15-探究iOS底层原理|RunLoop【两种RunloopMode、RunLoopMode中的Source0、Source1、Timer、Observer】](https://juejin.cn/post/7116515606597206030/)** - **[16-探究iOS底层原理|RunLoop的应用](https://juejin.cn/post/7116521653667889165/)** - **[17-探究iOS底层原理|多线程技术的底层原理【GCD源码分析1:主队列、串行队列&&并行队列、全局并发队列】](https://juejin.cn/post/7116821775127674916/)** - **[18-探究iOS底层原理|多线程技术【GCD源码分析1:dispatch_get_global_queue与dispatch_(a)sync、单例、线程死锁】](https://juejin.cn/post/7116878578091819045)** - **[19-探究iOS底层原理|多线程技术【GCD源码分析2:栅栏函数dispatch_barrier_(a)sync、信号量dispatch_semaphore】](https://juejin.cn/post/7116897833126625316)** - **[20-探究iOS底层原理|多线程技术【GCD源码分析3:线程调度组dispatch_group、事件源dispatch Source】](https://juejin.cn/post/7116898446358888485/)** - **[21-探究iOS底层原理|多线程技术【线程锁：自旋锁、互斥锁、递归锁】](https://juejin.cn/post/7116898868737867789/)** - **[22-探究iOS底层原理|多线程技术【原子锁atomic、gcd Timer、NSTimer、CADisplayLink】](https://juejin.cn/post/7116907029465137165)** - **[23-探究iOS底层原理|内存管理【Mach-O文件、Tagged Pointer、对象的内存管理、copy、引用计数、weak指针、autorelease](https://juejin.cn/post/7117274106940096520)** ## 3. 基于Swift语言探索iOS底层原理关于`函数`、`枚举`、`可选项`、`结构体`、`类`、`闭包`、`属性`、`方法`、`swift多态原理`、`String`、`Array`、`Dictionary`、`引用计数`、`MetaData`等Swift基本语法和相关的底层原理文章有如下几篇: - **[01-📝Swift5常用核心语法|了解Swift【Swift简介、Swift的版本、Swift编译原理】](https://juejin.cn/spost/7119020967430455327)** - **[02-📝Swift5常用核心语法|基础语法【Playground、常量与变量、常见数据类型、字面量、元组、流程控制、函数、枚举、可选项、guard语句、区间】](https://juejin.cn/spost/7119510159109390343)** - **[03-📝Swift5常用核心语法|面向对象【闭包、结构体、类、枚举】](https://juejin.cn/spost/7119513630550261774)** - **[04-📝Swift5常用核心语法|面向对象【属性、inout、类型属性、单例模式、方法、下标、继承、初始化】](https://juejin.cn/spost/7119714488181325860)** - **[05-📝Swift5常用核心语法|高级语法【可选链、协议、错误处理、泛型、String与Array、高级运算符、扩展、访问控制、内存管理、字面量、模式匹配】](https://juejin.cn/spost/7119722433589805064)** - **[06-📝Swift5常用核心语法|编程范式与Swift源码【从OC到Swift、函数式编程、面向协议编程、响应式编程、Swift源码分析】](https://juejin.cn/spost/7253350009289424933)** ## 4. C++核心语法 - **[01-C++核心语法|C++概述【C++简介、C++起源、可移植性和标准、为什么C++会成功、从一个简单的程序开始认识C++】](https://juejin.cn/post/7099705165602619422)** - **[02-📝C++核心语法|C++对C的扩展【::作用域运算符、名字控制、struct类型加强、C/C++中的const、引用(reference)、函数】](https://juejin.cn/post/7253710675180470331)** - **[03-📝C++核心语法|面向对象1【 C++编程规范、类和对象、面向对象程序设计案例、对象的构造和析构、C++面向对象模型初探】](https://juejin.cn/post/7254005872149676090)** - **[04-📝C++核心语法|面向对象2【友元、内部类与局部类、强化训练(数组类封装)、运算符重载、仿函数、模板、类型转换、 C++标准、错误&&异常、智能指针】](https://juejin.cn/post/7254097346761719865)** - **[05-📝C++核心语法|面向对象3【继承和派生、多态、静态成员、const成员、引用类型成员、VS的内存窗口】](https://juejin.cn/spost/7254143696482943035)** ## 5. Vue全家桶 - **[01-📝Vue全家桶核心知识|Vue基础【Vue概述、Vue基本使用、Vue模板语法、基础案例、Vue常用特性、综合案例】](https://juejin.cn/post/7255209931333337146)** - **[02-📝Vue全家桶核心知识|Vue常用特性【表单操作、自定义指令、计算属性、侦听器、过滤器、生命周期、综合案例】](https://juejin.cn/post/7255217876364902457)** - **[03-📝Vue全家桶核心知识|组件化开发【组件化开发思想、组件注册、Vue调试工具用法、组件间数据交互、组件插槽、基于组件的](https://juejin.cn/post/7255230505409331255)** - **[04-📝Vue全家桶核心知识|多线程与网络【前后端交互模式、promise用法、fetch、axios、综合案例】](https://juejin.cn/post/7255230505409871927)** - **[05-📝Vue全家桶核心知识|Vue Router【基本使用、嵌套路由、动态路由匹配、命名路由、编程式导航、基于vue-router的案例】](https://juejin.cn/post/7255483407559573563)** - **[06-📝Vue全家桶核心知识|前端工程化【模块化相关规范、webpack、Vue 单文件组件、Vue 脚手架、Element-UI 的基本使用】](https://juejin.cn/post/7255514764754436155)** - **[07-📝Vue全家桶核心知识|Vuex【Vuex的基本使用、Vuex中的核心特性、vuex案例】](https://juejin.cn/post/7255561137584046136)** ## 6. 音视频技术核心知识 - **[01-📝音视频技术核心知识|了解音频技术【移动通信技术的发展、声音的本质、深入了解音频】](https://juejin.cn/post/7254836680132231224)** - **[02-📝音视频技术核心知识|搭建开发环境【FFmpeg与Qt、Windows开发环境搭建、Mac开发环境搭建、Qt开发基础】](https://juejin.cn/post/7254834316017762361)** - **[03-📝音视频技术核心知识|Qt开发基础【`.pro`文件的配置、Qt控件基础、信号与槽】](https://juejin.cn/post/7254830852067917882)** - **[04-📝音视频技术核心知识|音频录制【命令行、C++编程】](https://juejin.cn/post/7254830852067967034)** - **[05-📝音视频技术核心知识|音频播放【播放PCM、WAV、PCM转WAV、PCM转WAV、播放WAV】](https://juejin.cn/post/7255117210510639163)** - **[06-📝音视频技术核心知识|音频重采样【音频重采样简介、用命令行进行重采样、通过编程重采样】](https://juejin.cn/post/7255123444454178875)** - **[07-📝音视频技术核心知识|AAC编码【AAC编码器解码器、编译FFmpeg、AAC编码实战、AAC解码实战】](https://juejin.cn/post/7255117210510819387)** - **[08-📝音视频技术核心知识|成像技术【重识图片、详解YUV、视频录制、显示BMP图片、显示YUV图片】](https://juejin.cn/post/7255126807552032827)** - **[09-📝音视频技术核心知识|视频编码解码【了解H.264编码、H.264编码、H.264编码解码】](https://juejin.cn/post/7255123444454326331)** - **[10-📝音视频技术核心知识|RTMP服务器搭建【流媒体、服务器环境】](https://juejin.cn/post/7255130512640704549)** # 其它底层原理专题 ## 1. 底层原理相关专题 - **[01-计算机原理|计算机图形渲染原理这篇文章](https://juejin.cn/post/7018755998823219213)** - **[02-计算机原理|移动终端屏幕成像与卡顿 ](https://juejin.cn/post/7019117942377807908)** ## 2. iOS相关专题 - **[01-iOS底层原理|iOS的各个渲染框架以及iOS图层渲染原理](https://juejin.cn/post/7019193784806146079)** - **[02-iOS底层原理|iOS动画渲染原理](https://juejin.cn/post/7019200157119938590)** - **[03-iOS底层原理|iOS OffScreen Rendering 离屏渲染原理](https://juejin.cn/post/7019497906650497061/)** - **[04-iOS底层原理|因CPU、GPU资源消耗导致卡顿的原因和解决方案](https://juejin.cn/post/7020613901033144351)** ## 3. webApp相关专题 - **[01-Web和类RN大前端的渲染原理](https://juejin.cn/post/7021035020445810718/)** ## 4. 跨平台开发方案相关专题 - **[01-Flutter页面渲染原理](https://juejin.cn/post/7021057396147486750/)** ## 5. 阶段性总结:Native、WebApp、跨平台开发三种方案性能比较 - **[01-Native、WebApp、跨平台开发三种方案性能比较](https://juejin.cn/post/7021071990723182606/)** ## 6. Android、HarmonyOS页面渲染专题 - **[01-Android页面渲染原理](https://juejin.cn/post/7021840737431978020/)** - **[02-HarmonyOS页面渲染原理](#) (`待输出`)** ## 7. 小程序页面渲染专题 - **[01-小程序框架渲染原理](https://juejin.cn/post/7021414123346853919)**