小程序与APP直播连麦

706 阅读4分钟

微信小程序从1.7开始,为开发者提供了两个新接口,<live-pusher><live-player>,可以在小程序上实现单向的直播功能。通过与技术的结合,我们还可以进一步在小程序直播的基础上实现连麦功能,这也就是今天要主要分享的连麦经验。

文档

developers.weixin.qq.com/miniprogram…

developers.weixin.qq.com/miniprogram…

 

 小程序H5
推流live-pusher 
拉流live-playervideo
功能自带美颜、模式等API暂无

 

通过<live-pusher><live-player>两个原生组件,可以实现音视频的采集、推流、拉流、播放。同时,live-pusher组件还支持自带的美颜、镜像、动态分辨率调整等功能。

 

目前小程序直播连麦的应用场景有很多,比如:

A.视频通话。此前,该场景更多以原生应用的形态出现。现在,这两个新的接口,让小程序实现视频通话成为了可能,尤其是在那些需要强交互、低延时的应用场景,如在线教育、企业会议等。

B.另一个是在直播连麦中,具体应用场景也有很多,跨直播间 PK 就是最典型的一种。这个功能我们可以在抖音直播中看到。在直播时,一个主播可以与另一个主播进行通话,并实时直播给两个主播的观众观看。

以上场景的共同点是,对延时、画质要求都很高。

此前之前更多是在移动端 App 上实现这些场景,但在网页、手机浏览器中比较少。而微信小程序直播组件的出现,却改变了这个现状,但具体是怎么实现呢,我们接下来会讲。

 

既然我们已经有了这两个组件,是不是在小程序中增加它们之后,就可以发布到线上直播连麦小程序,让别人使用了呢?

 

答案是否定的。我们还需要搭建一个 rtmp 服务器,然后生成一个 rtmp 服务地址,利用小程序组件推流和拉流,但是这样的产品上线仍有些距离。而且,小程序的两个组件仅仅提供了直播功能,并不支持实现连麦。如果还想要在小程序直播中进一步实现连麦,需要解决四方面问题:

1.可用性。如果很多人访问服务器,并同时发出推流、拉流的请求,服务器很可能会挂掉,所以要提高可用性【后端会通过redis缓存等操作】。

2.信令控制。就像打电话一样,连麦双方需要知道对方的频道号、rtmp 地址才能互通,这就需要加入信令系统来控制【liveRecordNo + memberId】。

3.互通性。比如,小程序之间如何视频互通,小程序与原生 App 之间如何互通【IM】。

4.音视频交互质量。比如,视频通话的低延时、画面与音质的清晰等【RTC和live模式切换】。

小程序的局限性

不过目前小程序目前还不支持客户端的混流。如果是小程序与原生应用连麦,我们可以在原生APP应用中进行混流,然后推流至小程序。

 

经验总结

1.live-pusher和live-player外层的view需要指定高度,否则不显示;

2.pusher上的镜像需要使用LivePusherContext.switchCamera()来切换,否则ios上始终是前置;

3.连麦的时候,是观众端要推流,所以无法使用之前的方式,有全屏的概念,且把一些元素标签嵌套在live-player内;

4.live-pusher最好使用autopush="true",否则会有短暂中断,体验不是太好;

*5.为了使用系统的横竖屏切换,当前页面所有的布局均使用vmin的方式

 

问题

Q:连麦中,头像排序如何设置?是否可以设置主头像在直播收看端画面最大?

A:这涉及到画面的布局问题。大家可以通过 CSS 来控制哪个流要放大或缩小。

要把live-player的属性设置为:object-fit="fillCrop",如果使用contain,无法全屏观看,且会有黑色留白,会影响视觉效果

 

Q: 目前 小程序支持多少人通话?

A:目前可支持最多4人同时连麦。

 

Q:小程序在有电话通话的同时可以向外推流么?

A:并不支持。

流程图

连麦.png

流程图仅是根据我们当前业务整理的~