RPC框架| 青训营笔记

60 阅读2分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 15 天

一、课程内容

  • RPC框架

二、详细知识点

1、远程函数调用(RPC)

需要解决的问题

  1. 函数映射
  2. 数据转换成字节流
  3. 网络传输

概念模型

  • User
  • User-Stub
  • RPC-Runtime
  • Server-Stub
  • Server image.png

优点

  1. 单一职责,有利于分工协作和运维开发
  2. 可扩展性强,资源使用率更优
  3. 故障隔离,服务的整体可靠性更高

2、编解码层

数据格式

  • 语言特定的格式:许多编程语言内建了将内存对象编码为字节序列的支持,例如Java的java.io.Serializable
  • 文本格式:JSON、XML、CSV等文本格式,具有人类可读性
  • 二进制编码:具备跨语言和高性能等特点,例如Thrift的BinaryProtocol、Protobuf等

二进制编码

TLV编码

  • Tag:标签,可以理解为类型
  • Length:长度
  • Value:值,Value也可以是一个TLV结构

选型

  • 兼容性:支持自动添加新的字段而不影响老的服务,这将提高系统的灵活度
  • 通用性:支持跨平台、跨语言
  • 性能:从空间和时间两个维度来考虑,也就是编码后数据大小和编码耗费时长

3、协议层

概念

  • 特殊结束符:一个特殊字符作为每个协议单元结果的标识

image.png

  • 变长协议:以定长加不定长的部分组成,其中定长的部分需要描述不定长的内容长度

image.png

协议构造

LENGTH:数据包大小,不包含自身

HEADER MAGIC:标识版本信息,协议解析时快速校验

SEQUENCE NUMBER:数据包的seqID,可用于多路复用、单连接内递增

HEADER SIZE:头部长度,从第14个字符开始计算到PAYLOAD前

PROTOCOL ID:编解码方式,有Binary和Compact两种

TRANSFORM ID:压缩方式,如zlib和snappy

INFO ID:传递一些定制的META消息

PAYLOAD:消息体

image.png

4、网络通信层

网络库

  • 提供易用API
  • 支持TCP、UDP和UDS等
  • 优雅退出、异常处理等
  • 应用层buffer减少copy
  • 高性能定时器、对象池等