Web 通讯

主要介绍前端音视频录制和WebRTC推流/WebRTC的拉流相关技术的视线细节解析.........

前置知识 底层接口浅析 媒体流有两大类，音频和视频 音频中有两种典型的场景，需要3A(回声消除、自动增益、噪声抑制等，应该设置为true)的(例如通话、演讲)和不需要3A的(语音识别、音乐应该设置为f

所谓流媒体是指采用流式传输的方式传输在Internet播放的媒体格式； 流式传输的方式是将视频和音频等多媒体文件经过特殊的方式分成一个个的压缩包，由服务器向客户端连续、实时传输，客

即时通信(IM)和实时通信(声网Agora.io)都是一套网络通信系统，其本质都是对信息进行转发，其最大的特点就是对信息传递的时间规定

前置知识 STUN、TURN和ICE STUN(SessionTraversalUtilitiesforNAT，NAT会话穿越应用程序) 是一种网络协议，允许位于NAT之后的客户端找出自己的公网地址，

WebRTC是一组协议、机制和API、通过对等连接为浏览器和移动端应用程序提供实时通信(RTC)功能，可以理解为是一种允许浏览器直接通信而不需要任何基础设施的中介技术，但是要实现复杂点的功能时就需要通

直播系统可以简单的分为`实时互动直播`和`传统直播`，`实时互动直播`注重于传输的实时性(因此采用UDP作为底层协议)，如在线教育、音视频会议等，`传统直播`则注重的是画面质量、音视频是否卡顿的问题

基于Webrtc的音视频会议方案中最常用和最基础的架构模式是Mesh，MCU，SFU；目前市面上的各种音视频会议都脱离不开这三种模式，当然也有基于这三种模式的变种和组合，但根基还是这三种模式

webRTC的数据通道`RTCDataChannel`是专门用来传输除音视频数据之外的任何数据的，如短消息、实时文字聊天、文件传输、远程桌面、游戏控制、P2P加速等；当然像是文本聊天、文件传输也可以通

WebRTC 处理过程 WebRTC 1 对 1 音视频实时通话过程示意图 图解 WebRTC 终端：负责音视频采集、编解码、NAT穿越、音视频数据传输 Signal 信令服务器：负责信令处

WebRTC同时支持传输`音视频数据`、`自定义应用数据`。这其中涉及了多种协议，包括RTP/SRTP、RTCP/SRTCP、UDP、DTLS、SCTP等

信令：驱动系统运转。控制各个模块的前后调用关系;业务不同，逻辑不同，信令也会千差万别 信令服务器主要作用 实现业务层管理 如用户创建房间，加入房间，退出房间等 确定何时初始化、关闭和修改通话

WebRTC(Web Real-Time Communication)网页即时通讯，它通过简单的API使得浏览器和移动应用程序提供实时通信(RTC)的功能；在不借助中间媒体的情况下，建立浏览器之间的点

RPC 简介 Remote Procedure Call --- 远程过程调用 RPC 是解决进程间通信的一种方式，就是把拦截到的方法参数，转换成可以在网络中传输的二进制，并保证服务提供方可以正确的还

initial_headers: 针对于会话的第一个 HTTP 请求相应前进行自定义响应头。 headers：针对会话的每个 HTTP 请求的响应头发送前进行自定义响应头。 connection_er