RPC框架札记|青训营

86 阅读4分钟
  • 基本概念

  • 例子一:本地函数调用

image.png

1.将a和b的值压栈

2.通过函数指针找到calculate函数,进入函数取出栈中的值2和3,将其赋予×和y

3.计算x*y,并将结果存在z

4.将z的值压栈,然后从calculate返回

5.从栈中取出z返回值,并赋值给result

  • 例子二:远程函数调用(RPC) RPC相比于本地函数调用需要解决的问题:

1.函数映射

2.数据转换成字节流

3.网络传输

  • 一次RPC的完整过程

1. IDL (Interface description language)文件

IDL通过一种中立的方式来描述接口,使得在不同平台上运行的对象和用不同语言编写的程序可以相互通信

2. 生成代码

通过编译器工具把IDL文件转换成语言对应的静态库

3. 编解码

从内存中表示到字节序列的转换称为编码,反之为解码,也常叫做序列化和反序列化

4. 通信协议

规范了数据在网络中的传输内容和格式。除必须的请求/响应数据外,通常还会包含额外的元数据

5. 网络传输

通常基于成熟的网络库走TCP/UDP传输

6. 过程:调用端通过编码器(Encoder)将编码编为字节流,将字节流通过协议放到指定位置然后进行整体打包,之后发给对端,对端收到数据后,将数据解出来传给商城处理。

7. RPC的优点

(1) 单一职责,有利于分工协作和运维开发

(2) 可扩展性强,资源使用率更优

(3) 故障隔离,服务的整体可靠性更高

8. RPC框架可解决的由PRC带来的问题

(1) 服务宕机,对方应该如何处理?

(2) 在调用过程中发生网络异常,如何保证消息的可达性?

(3) 请求量突增导致服务无法及时处理,有哪些应对措施?

  • 分层设计

Apache Thrift image.png

1. 编解码层:

客户端与服务端依赖同一份IDL文件,IDL文件会生成不同语言对应的生成代码(Golang、C++或者Java)

(1) IDL文件中的数据格式:

语言特定的格式:许多编程语言都内建了将内存对象编码为字节序列的支持,例如Java有java.io.Serializable。

文本格式:JSON、XML、CSV等文本格式,具有人类可读性。

二进制编码:具备跨语言和高性能等优点,常见有Thrift的 BinaryProtocol,Protobuf等。

(2) BinaryProtocol的实现使用的是TLV编码

TLV编码

  • Tag:标签,可以理解为类型

  • Lenght:长度

  • Value:值,Value也可以是个TLV结构 image.png

TL编码结构简单清晰,并且扩展性较好,但是由于增加了Type和Length两个冗余信息, 有额外的内存开销,特别是在大部分字段都是基本类型的情况下有不小的空间浪费。

(3) 选择编码的原则:

兼容性:支持自动增加新的字段,而不影响老的服务,这将提高系统的灵活度

通用性:支持跨平台、跨语言

性能:从空间和时间两个维度来考虑,也就是编码后数据大小和编码耗费时长

2. 协议层

(1)基本概念

特殊结束符:一个特殊字符作为每个协议单元结束的标示。 image.png 变长协议:以定长加不定长的部分组成,其中定长的部分需要描述不定长的内容长度。 image.png

(2)协议构造: image.png

LENGTH:数据包大小,不包含自身

HEADER MAGlC:标识版本信息,协议解析时候快速校验

SEQUENCE NUMBER:表示数据包的seqlD,可用于多路复用,单连接内递增

HEADER SIZE:头部长度,从第14个字节开始计算一直到PAYLOAD前

PROTOCOL ID:编解码方式,有Binary和Compact 两种

TRANSFORM ID:压缩方式,如zlib 和snappy

INFO ID:传递一些定制的meta信息

PAYLOAD:消息体

(3)协议解析:

从内存中读取指定的部分数组,根据协议读取魔法树它所在的位置得知是什么协议根据MagicNumber得知是什么类型的协议,然后读取编码方式得知需要用什么解码,之后解出palyload。

3. 网络通信层

通过Sockets API进行网络通信 image.png 选择网络库的衡量指标:

提供易用API:封装底层Socket API连接管理和事件分发

功能:协议支持: tcp、udp 和uds 等优雅退出、异常处理等

性能:应用层 buffer 减少copy高性能定时器、对象池等