如何搭建视频通信系统之iOS系统

图鸭科技
471 阅读11分钟

音视频通信是近几年互联网应用的一个新领域，其应用极其广泛，我们常见的视频电话、会议系统和连麦直播等都是视频通信的具体应用。在移动互联网飞速发展的今天，各种应用都渴望加入视频通信的功能，实现用户与企业，用户与用户之间的音视频交流。

于是问题出现了，开发一个视频通信系统需要什么技术储备？市场上又有哪些可以免费使用的iOS视频通信系统呢？

一、搭建视频通信系统所需技术储备：

构建视频通信系统是一项综合了数据采集、处理和显示技术，数据压缩编解码技术和网络传输技术的系统性工程。而一个基础的视频通信系统过程主要包含以下几点：


1. 数据采集技术：高效及时地获取到高质量的原始数据

例如：在实时视频通话应用中，对采集到的音频一般要经过预处理，主要有滤除背景杂音、检测并消除回音等。

2. 数据压缩技术：整个视频通信系统中的核心技术

由于原始视频的数据量非常大，如果不经过压缩，将会给传输和存储带来极大的压力，这就需要高效的视频编码技术在传输带宽限制下尽可能保持高质量，或者在质量相等情况下，获得尽可能高的压缩率。
在低延时的业务中，对压缩速度的要求也非常高。比如要达到每秒20帧的帧率，就要求压缩每一帧的时间低于50毫秒，同时还要兼顾到压缩的性能。目前主流的视频编码标准H.264/AVC，可以获得不错的性能与速度的折中。


3. 网络传输技术：视频通信系统的关键技术

压缩后的数据需要根据合适的网络传输协议打包，再经过网络传输到接收端，接收端再根据网络协议解析出压缩数据。根据业务类型以及传输数据的类型，需要选取不同的传输协议。最常用的两种是传输控制协议TCP和用户数据包协议UDP：TCP是面向连接的可靠传输协议，但是延时相对较大；UDP是无连接、不可靠的传输协议，但是延时相对较小。
在实际的使用中，不同的业务有不同的需求，需要结合业务本身进行合理设计。


4. 多媒体数据的解码播放：视频通信系统的最后一步

保证音画同步，避免花屏是视频解码的关键。因此解码时，需要根据解码标准检测是否丢失了数据，对解码失败的视频帧采取不予显示或请求重发等措施，避免出现不完整解码帧，也就是花屏。同时对音视频的播放，要根据时间戳进行同步播放，否则会极大地影响用户体验。对于解码得到的音频，往往要经过滤波、自动增益等处理，从而得到圆润而不刺耳的声音效果。当然，在多人通信中，首先还要对多路音频进行混音。
说完所需技术后，接下来，我们就来介绍一下目前市场上两家免费的音视频通信系统，以及利用他们如何搭建属于自己的音视频通信。

二、免费的音视频通信系统

Webrtc


webrtc是谷歌在2011年开源的网页实时通信协议，现已成为实时通信行业标准，阿里云七牛云等都以webrtc为基础，搭建了自己的实时通信协议。若想要webrtc搭建一套ios音视频通信，步骤如下：

首先我们需要去官网下载iOS版本的源码，并且对其进行编译，源码大小差不多在6个多G，编译的过程也会遇到许多困难，最终形成的webrtc的.a库大概有300多M。

1.安装环境

系统环境：Mac OS
网络环境：准备好稳定的VPN工具

2.安装git

http://www.cnblogs.com/ccdev/archive/2012/09/12/2682098.html

3.安装depot_tools

创建一个目录专门来存放项目编译工具和项目代码仓库等，确保该目录所在磁盘可用空间至少有8~10G.打开系统的终端工具:
mkdir webrtc_build

在执行下面命令之前,请确保你已经连上VPN已经FQ了，或者你已经给git单独配置了有效的socksFQ代理。开始安装depot_tools，这是一套Google用来编译Chromium或者WebRTC的构建工具，在我们后续的编译过程中也将使用它。


a.  cd webrtc_build

b.  git clone https://chromium.googlesource.com/chromium/tools/depot_tools.git

c.  把depot_tools 设置到PATH中:echo "export PATH=$PWD/depot_tools:$PATH" > $HOME/.bash_profile

d.  使PATH设置生效:source $HOME/.bash_profile

e.  echo $PATH查看设置是否生效。

4、获取WebRTC源码


在我们的编译工作目录webrtc_build下创建一个webrtc子目录来存放代码：

mkdir webrtc
cd webrtc

开始把WebRTC项目的代码仓库下载一份到本地来，由于其仓库之大，大约一共需要下载6G+的东西，所以这一步非常需要有耐心，而且需要有稳定无障碍的互联网：

a.  设置要编译的平台到环境变量中：export GYP_DEFINES="OS=ios"

b.  fetch --nohooks webrtc_ios

c.  gclient sync

c步骤，也可以使用gclient sync -r eeab9ccb2417cab18ae1681c6644c25fa4eadcd3指定版本，注意：eeab9ccb2417cab18ae1681c6644c25fa4eadcd3为版本号。获取版本号方式为：

a. 进入[WebRTC](https://webrtc.org/native-code/ios/)官网

b. 点击上方About->Release Notes



c. 选择想要下载的版本，例如M59，进入如下页面



d. 点击WebRTC M59 branch后



e. 选择第一行，进入如下页面


现在即可见到版本号eeab9ccb2417cab18ae1681c6644c25fa4eadcd3。

注意：fetch --nohooks webrtc_ios 和 gclient sync这一步需要等待很久。


5.编译WebRTC

源码下载好了，现在目录结构如下图：


这些源码可以编译为好几个平台，OS X、Linux、 Windows、Android、iOS等。这里我们只需要编译iOS平台的WebRTC,并制作成一个iOS的开发框架，我们需要在终端命令行环境下去搞定这一切。

5.1设置构建配置，分环境编译

a.  进入WebRTC源码文件：cd src

b.  根据需要编辑构建配置，编译iOS系统，设置为target_os="ios"，编译iOS真机，target_cpu为"arm"或"arm64"，编译iOS模拟器，target_cpu="x64"，如：

gn gen out/ios_64 --args='target_os="ios" target_cpu="arm64"'

gn gen out/ios_sim --args='target_os="ios" target_cpu="x64"'

c.  开始编译：ninja -C out/ios_64 AppRTCMobile

编译后，得到arm64下的WebRTC.framework，目录结构如下图：


5.2使用脚本，自动编译

在我们下载的源代码中有一个编译脚本，还是以我们下载的M59版本为例，其位置在src/tools_webrtc/ios/build_ios_libs.sh，直接执行这个脚本就能编译出需要的库文件了。编译后目录结构如下图：


图中选中的WebRTC.framework为包含arm64、arm、x64环境的库，如果需要具体环境下的WebRTC.framework，进入相应文件夹选择。


6.使用WebRTC.framework注意事件

将WebRTC.framework导入工程后，运行会报错：

dyld: Library not loaded: @rpath/WebRTC.framework/WebRTC

Referenced from: /Users/MFJun/Library/Developer/CoreSimulator/Devices/4441D192-28A0-46AF-9CA9-C8945BB3442C/data/Containers/Bundle/Application/34E51961-4516-4478-AA59-579342D8D3A5/WebScoketTest.app/WebScoketTest

Reason: image not found

仔细看错误原因，是没有找到framework文件包，解决方法是：

TARGETS -> Build Phases -> New Copy Files


接着再点击下面+号，选择自定义的framework


在arm64的环境下，运行会报错


把TARGETS -> Build Settings -> Enable Bitcode设置为NO


接下来，Build Success！

(关于webrtc的编译方法来源简书MFJun,,完整链接为https://www.jianshu.com/p/64bd7f5b18b1)


说完webrtc，接下来给大家介绍另一套免费的音视频通信系统

Tucodec


tucodec是图鸭科技开发的一套音视频通信系统。其VoIP SDK已免费提供给用户，服务器的源代码和客户端网络模块代码也已开源。我也简单介绍一下如何用其搭建iOS音视频通信：

1、准备:

首先在图鸭官网：http://tucodec.com 进行注册，获得SDK中所需要的AppKey、AppSecret，注册登录后如下图所示：


其次到开发者里选择下载iOS中所需SDK。


最后解压，如下图所示：

1.1、解压voipDemo.zip，如图4所示：


把TYVoIPiOSSDK.framework拿出来，该framework即为图鸭音视频SDK,导入到所需的iOS项目中,有时候导入framework工程没有自动添加该SDK的framework路径，检查方法:target—>Build Settings—>Search Path,在Framework Search Path中加TYVoIPiOSSDK.framework的路径。
由于SDK是与C++混编的,所以只要使用到SDK中文件的 .m 文件都需要改成 .mm 后缀名，如图5所示：


在使用TYVoIPiOSSDK.framework库的时候，需要导入下面这些框架：


完成上述操作后，我们的音视频通讯App所需的大体框架已经完成啦。
之后就是码代码，完成系统UI界面绘制和用户之间通讯的逻辑操作。

在图鸭科技提供的SDK中，我们可以看到对外只有两个头文件，可见快速集成音视频通信并不是那么复杂。如图7所示：


2、头文件定义：


2.1、TYVoipDarwinManager.h文件，该文件定义了对外提供的类和协议。以下3个是该文件中核心类与协议。

(1) TYVoipDarwinManager : VoIP主要功能以及管理类
(2) TYVoipVideoData : 接收以及发送视频数据模型
(3) TYVoipDelegate : VoIP的代理

2.2、 TYVoipRender.h文件：提供渲染用户视图View。

了解上述主要接口文件及其定义后，我们来了解SDK中的通信原理：在SDK中，所有用户都以通讯节点的形式存在，作为节点的用户都拥有自己唯一的表示—— UserID ，整个SDK会根据每个用户的UserID来进行通讯。

例如，甲和乙之间进行通讯，假设甲的UserID为401，乙的UserID为402，甲登录后向乙发送我要和你开视频，乙登录后向甲发送我要和你开视频，甲开始渲染乙的视图，乙开始渲染甲的视图 。完成上述所有操作后，甲乙建立通讯。


3、完整的SDK使用步骤简介:

<1>配置voip,在程序启动的时候调用:
  [[TYVoipManager share] configVoip];

<2>登录转发服务器(登录一次即可):
  [[TYVoipDarwinManager sharedVoip]    loginRelayServer:ip
                                       serverPort:port
                                       sessionId:sessionId
                                       userId:_401
                                       AppKey:AppKey
                                       AppSecret:AppSecret];
<3>设置voip代理和开始voip:
  [[TYVoipDarwinManager sharedVoip] setDelegate:self];
  [[TYVoipDarwinManager sharedVoip] startCallWithUserId:401];
<4>根据逻辑,添加(删除)需要通话的节点:
  [[TYVoipDarwinManager sharedVoip] addClientNode:402];
  //[[TYVoipDarwinManager sharedVoip] removeClientNode:402];

<5>不需要通话时,停止voip:
  //关闭voip
  [[TYVoipDarwinManager sharedVoip] stopCall];
  //清空现有的连接节点(不再接收节点的数据)
  [[TYVoipDarwinManager sharedVoip] clearClientNodeList];

<6>根据具体的业务逻辑重复步骤3、4、5

<7>在程序结束时销毁voip
  [[TYVoipDarwinManager sharedVoip] destroy];

4、部分代码解释：（从用户甲的实现代码来解释）

  TYRenderView * preView;    //渲染甲的视图
  TYRenderView * otherView;   //渲染乙的视图
<1>登录操作：
  甲（UserID：401）登录操作,返回值为是否登录成功(非0即为成功):
  -(BOOL)login{
    NSString * ip = @"**.**.**.**";//所需转发服务器地址 
    uint16_t port = 0;
    int sessionId = 0;
    uint32_t AppKey = 0;//填写刚才申请的AppKey与AppSecret
    uint32_t AppSecret = 0;
    int res = [[TYVoipDarwinManager sharedVoip] loginRelayServer:ip
                                                serverPort:port
                                                sessionId:sessionId
                                                userId:_401
                                                AppKey:AppKey
                                                AppSecret:AppSecret];
    return res;
  }
<2>连接操作
  甲连接乙操作：
  -(void)startVoip{
    //设置通讯中所需代理涉及到实现的方法下面有解释
    [[TYVoipDarwinManager sharedVoip] setDelegate:self];
    //甲自己加入到通讯中
    [[TYVoipDarwinManager sharedVoip] startCallWithUserId:401];
    //添加节点（添加乙的USerID）
    [[TYVoipDarwinManager sharedVoip] addClientNode:402];
    //视图渲染
    [self.preView startRendering];//渲染甲自己
    [self.otherView startRendering];//渲染乙视图
  }
<3>断开操作
  甲进行断开通信操作
  -(void)stopVoip{
    //关闭voip
    [[TYVoipDarwinManager sharedVoip] stopCall];
    //清空现有的连接节点(不再接收节点的数据)
    [[TYVoipDarwinManager sharedVoip] clearClientNodeList];
    //停止视图渲染
    [self.preView stopRendering];
    [self.otherView stopRendering];
  }
<4>代码中出现代理方法详解
  - (void)localVideoImage:(TYVoipVideoData *)image{//甲画面处理
    if ([self.preView isRenderring]){
        [self.preView renderVoipVideoData:image];//进行甲画面渲染
    }
  }
  - (void)remoteVideoImage:(TYVoipVideoData *)image{//乙画面处理
    if ([self.otherView isRenderring]){
        [self.otherView renderVoipVideoData:image]; //乙画面渲染
    }
  }
  - (void)previewAudio:(NSData *)data{//本地语音

  }
  - (void)mixedAudio:(NSData *)data{//其他节点语音,混音

  }

测试效果如图：


(关于tucodec的编译方法来源简书Tucodec图鸭科技,完整链接为：https://www.jianshu.com/p/5c435b41b7e3)


 三：两款软件的优劣

名称

优势

劣势

Webrtc

1、稳定性高
2、文档丰富
3、已成为标准
4、开源

1、源码太多，编译难度大

tucodec

1、免费提供SDK
2、门槛低，编译难度小
3、视频通信延时更低

1、开发文档不够完善


Webrtc和tucodec作为两款免费音视频通信项目，其在技术的差别没有多大，主要是实际应用中的问题，webrtc的源码太多，编译难度大；Tucodec门槛低难度小但是开发文档不够完善。


其实作为免费的音视频通信项目，存在这些瑕疵是在预期类的。大家在选择具体使用的时候，还是要根据具体的使用场景来选择。


avatar
文章
阅读
粉丝