RPC原理与实现 | 青训营笔记

llx
119 阅读5分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 10 天

RPC通信协议

远程函数调用需要解决的三个问题：

  1. 函数映射
  2. 数据转换成字节流
  3. 网络传输

一次RPC的完整过程：

  • IDL（Interface description language）文件：通过一种中立的方式来描述接口使得在不同平台上运行的对象和用不同语言编写的程序可以相互通信
  • 生成代码：通过编译器工具把IDL文件转换为语言对应的静态库
  • 编译码：从内存中表示到字节序列的转换为编码，反之解码，也就是序列化和反序列化（Java是编译的静态类型语言，先编译成字节码，再交给JVM解释；Go语言静态类型语言先转换为可执行的二进制文件）
  • 通信协议：规范了数据在网络中的传输内容和格式，除必须的请求/响应数据外，通常还会包含额外的元数据
  • 网络传输：通常基于成熟的网络库走TCP/UDP传输

RPC带来的问题：

  1. 服务宕机，对方该如何处理
  2. 在调用过程中发生网络异常，如何保证消息的可达性
  3. 请求量突增导致服务无法及时处理，有哪些应对措施

框架

RPC框架让开发者只用关注业务，知道谁提供什么服务接口即可，不需要关注底层通信细节和调用过程。

技术架构

应用级：Dubbo，gRPC

通信框架：Netty

远程通信协议：RMI、Socket、SOAP（Http XML），REST(HTTP JSON)

RPC调用过程

  1. 服务消费者（Client 客户端）通过本地调用的方式调用需要消费的服务
  1. 客户端存根（Client Stub）接收到调用请求后负责将方法、入参等信息序列化（组装）成能够进行网络传输的消息体
  1. 客户端存根（Client Stub）找到远程的服务地址，并且将消息通过网络发送给服务端
  1. 服务端存根（Server Stub）收到消息后进行解码，反序列化操作
  1. 服务端存根（Server Stub）根据解码结果调用本地的服务进行相关处理
  1. 服务端（Server）执行具体的业务逻辑，并将处理结果返回给服务端存根（Server Stub）
  1. 服务端存根（Server Stub）将返回结果序列化，并通过网络发送给消费方
  1. 客户端存根（Client Stub）接收到消息，并进行解码与反序列化
  1. 服务消费方得到最终结果；

编解码层

数据格式：

  • 语言特定的格式：语言内建将内存对象编码为字节序列的支持，如Java中的java.io.Serializable
  • 文本格式：JSON、XML、CSV等文本格式
  • 二进制编码：具备跨语言和高性能等优点，常见的有谷歌的Protobuf等

二进制编解码的选型：

  1. 兼容性：支持自动增加新的字段而不影响老的服务，提高系统的灵活性
  2. 通用性：支持跨平台，跨语言
  3. 性能：从空间和时间两个维度来考虑，也就是编码后数据大小和编码耗费时长

协议层

特殊结束符：一个特殊字符作为每个协议单元结束的标示

变长协议：以定长加不定长的部分组成，定长的部分描述不定长的内容长度（如meassage body 的length）

  • LENGTH：数据包大小，不包含自身
  • header magic：标识符版本信息，协议解析时候快速校验
  • sequence number：表述数据包的seqID，可用于多路复用，单连接内递增
  • header size：头部长度，从第14个字节开始计算到payload前
  • protocol ID：编解码方式，有二进制和compact两种
  • transform ID：压缩方式，如zlib和snappy
  • INFO ID：传递一些定制的meta信息
  • Payload：消息体

网络通信层sockets API

从上至下：sockets API位于应用层和传输层之间

  1. 应用层
  2. 传输层：tcp/udp
  3. 网络层：ip
  4. 驱动
  5. 物理层

关键指标分析

稳定性

保障策略

  • 熔断：保护调用方，防止被调用的服务出现问题而影响到整个链路
  • 限流：保护被调用方，防止大流量把服务压垮
  • 超时控制：避免浪费资源在不可用节点上

请求成功率手段：

  • 负载均衡
  • 重试

长尾请求

  • 备份请求（backup request）提高长尾请求率

注册中间件（拦截器）

  • 框架通过中间件来注入各种服务治理策略保障服务的稳定性

易用性

开箱即用：合理的默认参数选项、丰富的文档

周边工具：生成代码工具，脚手架工具

扩展性

  • middleware
  • option
  • 编解码层
  • 协议层
  • 网络传输层
  • 代码生成工具插件扩展

观测性

  • 日志log
  • 监控metric
  • 跟踪tracing
  • 内置观测性服务

REST与RPC的区别

REST：

基于HTTP实现，使用HTTP协议处理数据通信。常见的http API都可以被称为rest接口

RPC：

一种进程间通信方式，允许像调用本地服务一样调用远程服务，通信协议大多采用二进制方式

类别RPCREST
报文格式二进制XML、JSON
网络协议TCP/HTTP/HTTP2HTTP/HTTP2
序列化开销低一般
网络开销低一般
性能高一般
访问便利性客户端比较方便，但二进制消息不可读文本消息开发者可读，浏览器可访问
通用性低高，可直接对外开发
使用场景内部服务外部服务
avatar
文章
阅读
粉丝