音视频开发

RTMP从0到1实现编码与推流。我们采集本地摄像头数据和麦克风数据，通过mediaCodec编码产生h264数据，并通过rtmpdump提供的接口来连接服务器，发送rtmp数据包，最终展示到播放器中。

投屏的整体思路 发送端通过MediaProjection录取屏幕信息,通过virtualDisplay写入到mediaCodec提供的surface中 发送端mediaCodec获取编码后的输出,解析

流程 1.启动摄像头采集数据到surface中 2.通过采集的回调拿到每帧数据bytes 3.配置编码器，编码器数据类型为yuv420，设置码率，帧率，I帧间隔 4.启动编码器，编码需要设置pts,将

录屏流程 流程总共分为三部分： 1.mediaCodec编码器提供surface Surface surface = mediaCodec.createInputSurface();构建codec的时

解码流程 1.获取从surfaceView初始化后得到的surface 2.配置解码器mediaCodec，并在configure中设置surface 3.获取解码的ByteBuffer，从h264数

h264编码 h264的压缩方法： 1、分组：把几帧图像分为一组（GOP，也就是一个序列），为防止运动变化，帧数不宜取多 2、定义帧：将每组内各帧图像定义为三种类型，即 I 帧、B帧和P帧 3、预测帧

视频解码 视频接封装 aac - pcm 交给gpu h264 - yuv 交给扬声器 视频编码 pcm编码成aac yuv编码成h264 增加封装信息 硬解码 解码芯片: 移动端SoC的视频硬解码靠

封装与接封装 视频文件一般都是用一种封装格式封装起来的。视频文件里不光有视频，还有音频， 封装格式的作用就是把视频和音频打包起来。 封装格式 解封装过程 编码方式 所有编码方式的终极目的 压缩编码后数