音视频技术

本文介绍了先进的视频编码器：H265、VP9、AV1的对比及软件实现。介绍了浏览器等平台对高级视频编码器的兼容性效果，以及编码器选型所要考虑的性能指标。

本文介绍了OpenGL相关的空间和坐标体系，以及从3维到2维的投影过程及成像原理，最后介绍了平移、缩放、旋转三种变换的数学及矩阵表示。

本文介绍了Android系统提供的GLSurfaceView的用法及绘制一个最基本的图像：三角形用到的API：设置清屏色、启用顶点缓存、设置视口、设置投影矩阵等。

本文介绍了OpenGL相关的知识：OpenGL历史、OpenGL发展、OpenGL应用等，并且介绍了OpenGL需要掌握的知识，OpenGL变换原理及投影成像原理。

本文介绍了编译iOS平台openssl库遇到的各种问题及最终解决方案，最终提供了同时编译openssl、nghttp2以及libcurl库脚本。

本文介绍了信号处理模块的各个功能点以及在移动端语音处理中的作用。还介绍了信号处理的基础知识以及常用工具。

本文总结了TTS的现状及发展，并介绍了移动端实现TTS的几种方式以及如何系统提供的TextToSpeech API、系统API的局限、如何做兼容性等。

本文主要介绍了Tensorflow在Android和iOS平台的构建，编译的目标文件已经是各自平台可直接使用的了。针对底层库，比如Android，我们可能只需要直接使用动态库。

从Bazel与Gradle两个团队的发声看，Bazel更像是Google内部孵化出的针对公司内部自动构建的产物，而Bazel在一些场景（Android编译，Java编译以及IDE集成方面）更有优势。

我们通过最简单的Android项目编译了解了Bazel相关语法及规则，后续对我们学习谷歌新的基于Bazel构建的项目提供了很大帮助。后续我们介绍TensorFlow Lite在Android平台和iO

本文介绍了谷歌推出的Lyra（一种高质量的、非常低比特率的语音编解码器，即使在最慢的网络上也可以进行语音通信）音频编解码器在Android平台的实践。Lyra利用了机器学习(ML)的先进方法。

本文介绍了Andorid系统的整套音频架构，以及架构各层级的功能及作用。并介绍了一种绕开framework层的新的音频采集方式。

本文介绍Android系统提供的四个层面的音频API：MediaRecorder/MediaPlayer、AudioRecord/AudioTrack、Opensl、AAudio。

有Android开发的小伙伴问有没有系统学习音视频的路线或者资料,今天抽空写一篇文章,整理一条从难到易从浅入深的路线,并配套对应的主流代码库. 我们这篇文章不再从音视频专业知识开始,而Android系统API的角度,逐层深入. 我们要播放视频最原始的是基于VideoView系统…

接下来要实现connect,createStream,play,..,为了效率和篇幅,我们直接分析srs-librtmp的实现.srs-librtmp是从srs作者为srs服务实现的客户端库(The client library srs-librtmp of SRS),其实不止…

要建立一个有效的RTMP Connection链接，首先要“握手”:客户端要向服务器发送C0,C1,C2（按序）三个chunk，服务器向客户端发送S0,S1,S2（按序）三个chunk，然后才能进行有效的信息传输。RTMP协议本身并没有规定这6个Message的具体传输顺序，但…

前面深入理解rtmp(1)之开发环境搭建中我们已经搭建好服务器,并且利用一些现成的工具可以推送直播流,播放直播流了.这篇文章我们开始搭建从零开发一套rtmp推流拉流sdk,对着协议实现,达到真正的"深入理解". 作为一个码农,搬砖搬到一定高度就需要"脚手架"来支撑我们"够得住"…

手机直播在15年的时候突然火起来,随着花椒,映客等出现,直播一下就出现在了风口,各个公司针对直播的战斗迅速打响,战斗过程比较短暂,随着许多公司的退出和死去,手机直播行业趋于稳定,直播服务时长也被传统的CDN厂商牢牢占据,后面大家又把精力投入到互动直播上面,当时一下对手机直播失去…

工作这几年,总是纠结于技术细节的成长,一直缺乏思考,没有对哪一年,甚至对哪一个阶段有过总结,看到这个话题,突然想参与一下,回顾这些年的工作历程,展望未来. 12年的时候,我以一个Android从业者的角色进入互联网行业,做的第一个产品是一个秀场的移动端.一转眼7年过去了,经历了…

只有在保持信号质量的前提下，设法降低码率及数据量，才能使标准得到应用。而这种降低码率的过程，被称为压缩编码或新源编码. 这节介绍一些基础的压缩编码思想与方法,为后面Opus语音编码做基础准备. 视频编码比语音编码描述更直观,本文以视频编码示例讲解主要的压缩编码原理. 莫尔斯码就…