深入浅出RPC框架 | 青训营笔记

50 阅读3分钟

这是我参与「第五届青训营」伴学笔记创作活动的第2天。

2023.2.14

基本概念

远程函数调用 (RPC - Remote Procedure Calls)

需要解决的问题

  • 函数映射
  • 数据转换成字节流
  • 网络传输

一次RPC的完整过程

IDL (Interface description language) 文件

IDL通过一种中立的方式来描述接口,使得在不同平台上运行的对象和用不同语言编写的程序可以相互通信。

生成代码

通过编译器工具把IDL 文件转换成语言对应的静态库

编解码

从内存中表示到字节序列的转换称为编码,反之为解码,也常叫做序列化和反序列化

通信协议

规范了数据在网络中的传输内容和格式。除必须的请求/响应数据外,通常还会包含额外的元数据

网络传输

通常基于成熟的网络库走 TCP/UDP 传输

RPC的好处

  1. 单一职责,有利于分工协作和运维开发
  2. 可扩展性强,资源使用率更优
  3. 故障隔离,服务的整体可靠性更高

RPC的问题

  1. 服务宕机,对方应该如何处理?
  2. 在调用过程中发生网络异常,如何保证消息的可达性?
  3. 请求量突增导致服务无法及时处理,有哪些应对措施?

分层设计

编解码层

二进制编码:具备跨语言和高性能等优点,常见有 Thrift 的 BinaryProtocol,Protobuf 等

TLV编码结构简单清晰,并且扩展性较好,但是由于增加了Type和lenoth两几余信息,有额外的内存开销,特别是在大部分字段都是基本类型的情况下有不小的空间浪费

选型

  • 兼容性:支持自动增加新的字段,而不影响老的服务,这将提高系统的灵活度
  • 通用性:支持跨平台、跨语言
  • 性能:从空间和时间两个维度来考虑,也就是编码后数据大小和编码耗费时长

协议层

协议是双方确定的交流语义,比如: 我们设计一个字符串传输的协议,它允许客户端发送一个字符串,服务端接收到对应的字符串。这个协议很简单,首先发送一个4字节的消息总长度,然后再发送1字节的字符集charset长度,接下来就是消息的payload,字符集名称和字符串正文。

协议构造

image.png

  • LENGTH:数据包大小,不包含自身
  • HEADER MAGIC: 标识版本信息,协议解析时候快速校验
  • SEQUENCE NUMBER: 表示数据包的 seqlD可用于多路复用,单连接内递增
  • HEADER SIZE: 头部长度,从第14个字节开始计算一直到 PAYLOAD前
  • PROTOCOL ID: 编解码方式,有 Binary 和Compact 两种
  • TRANSFORM ID: 压缩方式,如 zlib 和
  • snappyINFO ID: 传递一些定制的 meta 信息
  • PAYLOAD:消息体

网络通信层

套接字编程中的客户端必须知道两个信息: 服务器的 IP 地址,以及端口号。

网络库

  • 提供易用 API: 封装底层 Socket API连接管理和事件分发
  • 功能: 协议支持: tcp、udp 和 uds 等优雅退出、异常处理等
  • 性能: 应用层 buffer 减少 copy、 高性能定时器、对象池等