音视频系统(WebRTC)

本文介绍主要青龙流式系统的会话协议和流程 构建WebRTC需要的协议 ICE ICE全称Interactive Connectivity Establishment ，是一种交互式连接框架，他允许两个

WebRTC是标准，协议和JavaScript API的集合，两者的组合可实现浏览器（对等）之间的对等音频，视频和数据共享。无需依赖第三方插件或专有软件，而是将实时通信转变为任何Web应用程序都可以通

SRTP 协议 通过 DTLS 协商后，RTC 通信的双方完成 MasterKey 和 MasterSalt 的协商。 要解决的问题 RTP/RTCP 协议并没有对它的负载数据进行任何保护。因此，如果

WebRTC 使用 RTP 协议传输音视频，也依赖于 RTP 协议提供的信息处理丢包。本文尝试结合 RFC 3350 对 RTP 协议做一个较为简洁的介绍，方便大家查阅。 RTP（Real-time

作为WebRTC的三大模块之一，DataChannel支持短消息（short message）二进制和文本数据的传输，因此，对于通常以传输音视频为主的WebRTC来说，当需要传输音视频以外的数据的时候

基础概念 ICE（交互式连接建立）是 WebRTC（与其他技术一起）用于连接两个对等端的框架，不受网络拓扑结构的限制（通常用于视频或语音聊天）。这个协议让两端能够互相找到对方并建立一个连接，即便它们都

视频编码基础知识 什么是视频编码？ 视频编码是压缩和可能改变视频内容格式的过程，有时甚至将模拟源改为数字源。关于压缩，目标是使其消耗更少的空间。这是因为这是一个有损的过程，会丢掉与视频相关的信息。在解

分辨率， 指图像占用屏幕上像素的多少。图像中的像素密度越 高，图像的分辨率越高。对于实时通信而言，图像默认分辨率一般设 置为640×480或640×360，如果分辨率低于该值，则图像中包含的信息 太少

整体时序介绍 流程如下所示。 1.连接双方（Peer）通过第三方服务器来交换（Signaling）各自的SessionDescription数据。 2.连接双方（Peer）通过STUN协议从STUN

作者博客: fuqifacai.github.io 整体框架图 企业内部署整体示意图 整体组件的构成和发展 硬件环境 设备 参数要求 CPU Intel i7 6代以上 RAM 8G以上，推荐16G

作者博客: fuqifacai.github.io 什么是WebRTC WebRTC（Web Real-Time Communication——网页实时通信）是一个基于浏览器的实时多媒体通信技术。该项

The digital transformation of the whole society has accelerated the vigorous development of superimp

这个文档展示了截至2022年，webrtc相关的产品技术栈等信息。 挺有意思的 Developer Landscape ​ 编辑切换为居中 添加图片注释，不超过 140 字（可选） Browsers

WebRTC中有很多协议和标准。方便大家查资料 ICE: Interactive Connectivity Establishment (RFC 5245) STUN: Session Travers

压缩前的数据主流格式大致分两类： rgba 类型 yuv类型 也可参考连接：图像实战 - RGB、YUV图像格式介绍 - 简书 (jianshu.com) rgba 类型：原理上由 rgba四个字节表