iOS 动手做一个直播 (原理篇)

3,132 阅读5分钟
原文链接: www.jianshu.com

传输简单示意图



上篇文章主要给出了代码,但是并没有详细说明直播相关的知识,这篇文章就说一下直播的相关理论知识。附上直播代码篇地址。

推流

腾讯直播平台,阿里直播平台,百度直播平台提供均为RTMP的推流和HLS/RTMP等拉流.
推流是一个直播不可缺少的成分,说起推流都会说基于RTMP协议,那什么是RTMP呢?
RTMP全称:Real Time Messaging Protocol(实时消息传送协议)
1)、工作在TCP之上的明文协议,使用端口1935;
2)、RTMPT封装在HTTP请求之中,可穿越防火墙;
3)、RTMPS类似RTMPT,但使用的是HTTPS连接;
RTMP协议是被Flash用 于对象、视频、音频的传输。这个协议建立在TCP协议或者轮询HTTP协议之上。RTMP协议就像一个用来装数据包的容器,这些数据既可以是AMF格式的 数据,也可以是FLV中的视音频数据。一个单一的连接可以通过不同的通道传输多路网络流,这些通道中的包都是按照固定大小的包传输的。

直播中常见的协议还有
  • RTSP(Real Time Streaming Protocol,实时流传输协议):定义了一对多应用程序 如何有效地通过IP网络传送多媒体数据。
  • RTP(Real-time Transport Protocol,实时传输协议):RTP是针对多媒体数据流的一种传输层协议,详细说明了在互联网上传递音频和视频的标准数据包格式。RTP协议常用于流媒体系统(配合RTCP协议),视频会议和一键通系统(配合H.323或SIP),使它成为IP电话产业的技术基础。

  • RTCP(Real-time Transport Control Protocol,实时传输控制协议):RTCP是RTP的配套协议,为RTP媒体流提供信道外的控制。RTCP和RTP一起协作将多媒体数据打包和发送,定期在多媒体流会话参与者之间传输控制数据。
    RTCP的主要功能是为RTP所提供的服务质量(QoS)提供反馈,收集相关媒体连接的统计信息,例如传输字节数,传输分组数,丢失分组数,单向和双向网络延迟等等。网络应用程序可以利用RTCP所提供的信息来提高服务质量,比如限制流量或改用压缩比小的编解码器。

步骤

在客户端上要完成直播视频的采集及RTMP上推,主要需要以下几个步骤:
1.音视频的采集;
2.对视频进行H264编码,对音频进行AAC编码;
3.对编码后的音、视频数据进行FLV封包;
4.建立RTMP连接并上推到服务端。
而在将原始视频编码过程中,有两种方案:一种是利用第三方库FFmpeg 进行编码,一种是利用iOS自身的AVAssetWriter 或VideoToolBox.framework的VTCompressionSession进行编码。FFmpeg因其跨平台及功能丰富等诸多优势,被广泛使用。而使用AVAssetWriter编码需要将视频写入本地文件,然后通过实时监听文件内容的改变,读取文件并处理封包。从iOS8开始,VideoToolBox提供了硬件编码支持,可以使用VTCompressionSession进行编码。

H264编码与AAC编码

服务器的搭建

说了这么多到服务器的搭建了,这里提供两个流媒体服务器搭建的地址,按照这个地址我们可以自己搭建服务器进行推流。因为过程和截图实在是比较详细,我就不再重复截图一遍了,传送门:iOS基于RTMP 的视频推流
HLS-搭建Nginx流媒体服务器(3)
以及IOS手机直播Demo技术简介。需要知道的就是,现在直播应用,采用RTMP协议居多,也有部分使用HLS协议。
采用RTMP协议,就要看下它与流媒体服务器交互的过程,RTMP协议的默认端口是1935,采用TCP协议。并且需要了解FLV的封装格式。

拉流

直播测试的实现的总体思路大致就是,(开源推流框架:腾讯,优酷等)+ (Nginx+RTMP) + (ijkplayer)。
我们要实现我们的直播播放,就是把获取到的数据解压缩,恢复成原始数据。解码就是将H264变成YUV,AAC变成PCM。
解码可以使用软解码,硬解码。
软解码就是利用CPU资源去解压缩数据,采用的方式是FFmpeg解码。
硬解码,对于iOS平台来说,可以使用VideoToolbox.Framework(该框架只能在iOS 8.0及以上系统使用)。为了方便我们的实现,我们采用的一般方式是第三方的SDK,网易云直播,暴风云直播,腾讯云直播,新浪云的VideoCore ,以及优酷来疯直播的ijkplayer。
有比较多的SDk可以帮助我们去实现播放和推流 。

名词介绍

后记

本来还想自己多写写来着,但是知道看了一篇知乎,觉得自己确实涨了不少知识,这里放上链接,如何搭建一个完整的视频直播系统?我自己先去好好看看了。
通过我的学习与研究后续再更新吧。