最近在做iOS直播，研究了相关直播技术，主要包含两方面：推流，播放。 因为之前使用cocos2dx做过一个视频游戏（恋爱公寓），用ffmpeg+sdl+cocos2dx实现过视频播放器。 游戏中的视频是hevc(h265)+aac合成mp4文件，使用aes加密。视频播放的时候，…

rtmp最初是Adobe Flash用于音视频播放的一个实时传输协议。而flv正是Adobe推出的一个视频格式，因此rtmp协议支持flv视频流。 这里可以我们把获取的aac/h264的数据，直接转成flv格式的视频帧，然后按照时间戳依次发送给服务端即可。 flv总体来说是一个…

另外无论软编码还是硬编码，最后获得的flv格式数据，需要通过rtmp协议发送至服务器。 本篇将介绍第1部分内容。另外两部分内容将在后续文章中介绍。 根据上文介绍，软编码实现，对应音频／视频编码分别为：AWSWFaacEncoder 和 AWSWX264Encoder。 这两个类…

上一篇文章介绍了如何使用系统方法捕获视频数据，但是更多的时候，为了使用美颜滤镜，我们会选择GPUImage来获取视频数据。 GPUImage是一个可以为录制视频添加实时滤镜的一个著名第三方库。 该框架大概原理是，使用OpenGL着色器对视频图像进行颜色处理，然后存到frameB…

通过系统相机录制视频获取音视频数据，是推流的第一步。 源码中提供2种获取音视频数据的方法：一是使用系统自带接口；二是使用GPUImage。 本篇首先介绍第一种。 网络上关于获取视频数据的代码有不少，但是为了方便代码阅读，这里简要介绍一下。 整套推流代码的入口：AWAVCaptu…

通过系统相机捕获视频及声音，该美颜的美颜，该滤镜的滤镜。 捕获的视频帧为yuv格式，音频帧为pcm格式。 将捕获的音视频数据，传入一个串行队列(编码队列)，在队列中进行编码操作。 将yuv格式视频数据，转成h264格式视频帧；将pcm格式音频数据，转成aac格式音频帧。 将转好…

前面介绍了如何通过相机实时获取音视频数据。 我们接下来就需要了解获取到的数据到底是什么样的。 使用系统提供的接口获取到的音视频数据都保存在CMSampleBufferRef中。 使用GPUImamge获取到的音频数据为CMSampleBufferRef，获取到的视频格式为BGR…

前文中已经多次提到过sps&pps/AudioSpecificConfig。 sps&pps是h264中的概念，它包含了一些编码信息，如profile，图像尺寸等信息。在flv中，包含sps&pps的部分被称为 AVC Sequence header（即AVCDecoderCo…

rtmp(一般大写，小写会被认为英文不好或不专业，iOS开发者对这一点更为敏感)协议是Adobe公司为Flash视频的实时传输开发的一个开放协议。 本文不探究rtmp协议的原理，只是从代码角度来看，客户端如何使用librtmp完成推流功能。 项目内使用的librtmp是使用rt…