深入浅出 RPC 框架 | 青训营

45 阅读3分钟

RPC 相关的基本概念

RPC - Remote Procedure Calls

RPC 需要解决的问题

  • 函数映射
  • 数据转换成字节流
  • 网络传输

RPC的概念模型

  • User 发起本地调用
  • User-Stub 把参数打包交给下一个
  • RPC-Runtime 把数据传送给对端,对端接手后交给下一个
  • Server-Stub 解压数据
  • Server 处理完业务逻辑原路返回

RPC 相关基本概念

IDL (Interface description language)文件

IDL 通过一种中立的方式来描述接口,使得在不同平台上运行的对象和用不同语言编写的程序可以相互通信

生成代码

通过编译器工具吧 IDL 文件转换成语言对应的静态库

编解码

从内存中表示到字节序列的转换称为编码,反之为解码,也常叫做序列化和反序列化

通信协议

规范了数据在网络中的传输内容和格式。除必须的请求/响应数据外,通常还会包含额外的元数据

网络传输

通常基于成熟的网络库走 TCP/UDP 传输

RPC 的好处

  • 单一职责,有利于分工协作和运维开发
  • 可扩展性强,资源使用率更优
  • 故障隔离,服务的整体可靠性更高

RPC 的弊端

  • 服务宕机,对方应该怎么处理?
  • 在调用过程中发生网络异常,如何保证消息的可达性?
  • 请求量突增导致服务无法及时处理,有哪些应对措施?

解决上述问题可以使用RPC框架

RPC 框架的分层设计

编解码层

客户端和服务端可以依赖同一份IDL文件生成不同语言的 CodeGen

数据格式

  • 语言特定的格式

    许多编程语言都内建了将内存对象编码为字节序列的支持,例如 Java 有 java.io.Serializable

  • 文本格式

    JSON、XML、CSV等文本格式,具有人类可读性,但是他可能描述并不是很严谨,也没有产品的模型约束

  • 二进制编码

    具备跨语言和高性能等优点,常见有 Thrift 的BinaryProtocol,Protobuf 等

TLV 编码

  • Tag:标签,可以理解为类型
  • Length:长度
  • Value:值,Value 也可以是个TLV结构

选型

  • 兼容性(支持自动更新新的字段,而不能影响老的服务,这将提高系统的灵活度)
  • 通用性(支持跨平台、跨语言)
  • 性能(从空间和时间两个维度来考虑,也就是编码后数据大小和编码耗费时长)

协议层

概念

  • 特殊结束符(一个特殊字符作为每个协议单元结束的标示)
  • 变长协议(一个定长加不定长的部分组成,其中定长的部分需要描述不定长的内容长度)

协议构造

  • LENGTH:数据包大小,不包含自身
  • HEADER MAGIC:标识版本信息,协议解析时候快速校验
  • SEQUENCE NUMBER:表示数据包的 seqLD,可用于多路复用,单连接内递增
  • HEADER SIZE:头部长度,从第14个字节开始计算一直到PAYLOAD前
  • PROTOCOL ID:编解码方式,有 Binary 和Compact 两种
  • TRANSFORM ID:压缩方式,如 zlib 和 snappy
  • INFO ID:传递一些定制的 meta 信息
  • PAYLOAD:消息体

协议解析

框架里面首先会从内存里面读取指定的数据,根据不同的约定读取MagicNumber知道是什么类型的协议,再读取编解码方式,解析出Payload

网络通信层 Socket API

image.png