这是我参与「第五届青训营 」伴学笔记创作活动的第 七 天
这里是对于RPC框架的内部原理讲解
基本概念
本地调用
RPC
Remote Procedure Calls
-
RPC需要解决的问题:
- 函数映射
- 数据转换为字节流
- 网络传输
RPC概念模型
一次完整的RPC的过程
- IDL (Interface description language)文件: IDL通过一种中立的方式来描述接口,使得在不同平台上运行的对象和用不同语言编写的程序可以相互通信。
- 生成代码: 通过编译器工具把IDL文件转换成语言对应的静态库。
- 编解码: 从内存中表示到字节序列的转换称为编码,反之为解码,也常叫做序列化和反序列化。
- 通信协议: 规范了数据在网络中的传输内容和格式。除必须的请求/响应数据外,通常还会包含额外的元数据。
- 网络传输: 通常基于成熟的网络库走TCP/UDP传输。
RPC的好处
- 单一职责,有利于分工协作和运维开发
- 可拓展性强,资源使用率更优
- 故障隔离,服务的整体可靠性更高
RPC带来的问题
- 服务宕机,如何处理?
- 网络异常,如何保证消息的可达性?
- 请求量突增,服务无法及时处理,如何应对?
- 上面的问题,会由RPC框架帮助我们进行处理昂!!!
分层设计
Apache Thrift
编解码层
编解码层的逻辑,其实被封装在生成代码和TProtocal中昂!
生成代码
数据格式
- 语言特定的格式: (一般和语言绑定死了,但是使用很方便,语言提供原生支持),例如Java: java.io.Serializable
- 文本格式: JSON, XML, CSV等文本文件,具有人类可读性
- 二进制编码: 跨语言,高性能,常见的Thrift的BinaryProtocol, Protobuf等
二进制编码
Tag + Length + Value: 但是也可以看到,Tag 和 Length有额外的内存开销,基本类型开销大,Length占用的字节长,但是实际数据可能很短昂... -> 还有别的编码方式昂!
选型
- 兼容性:支持自动添加新的字段,而不影响老的服务,提高系统的灵活度。
- 通用性:支持跨平台、跨语言。
- 性能:从空间和时间两个维度来考虑,也就是编码后数据大小和编码耗费时长。
协议层
概念
特殊结束符:特殊字符作为每个协议单元结束的标示。(HTTP就是这样的)
变长协议:以定长加不定长的部分组成,其中定长的部分需要描述不定长的内容长度。
协议构造
协议解析
网络通信层
Sockets API
网络库
关键指标
稳定性
保障策略
- 熔断:保护调用房,防止被调用的服务出现问题影响整个链路
- 限流:保护被调用房,防止大流量把服务打垮
- 超时控制:避免浪费资源在不可用节点上
都是降级措施昂!!!
请求成功率
长尾请求
明显高于平均响应时间的那部分占比比较小的请求。
pc99就是这个指标。
backup request -> 如果请求过慢(t3不妨设置为pc99),再请求一次,可能就好了(我是急急国王?)
注册中间件
尽可能保证稳定性
易用性
包装好了,并且好用!!!
拓展性
提供尽可能多的拓展点,方便系统拓展昂!!!
观测性
外部 + 内部 => 可观测性,暴露出来,方便我们调试框架内部的运行状况。
高性能
高吞吐:请求尽可能多
低延迟:请求时间尽可能短(可能是更重要的指标昂!)
企业实践
整体架构-Kitex
自研网络库
背景
Netpoll
扩展性设计
性能优化
网络库优化
编解码优化
-
References: