RPC原理与实现 | 青训营笔记

Dillonz
75 阅读6分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 14 天

前言

本文章主要介绍了RPC框架的基本概念、分层设计、核心指标，最后完成字节内部RPC框架Kitex的实践。

RPC框架基本概念

本地函数调用

image.png

远程函数调用（RPC-Remote Procedure Calls）

  • 相比本地函数调用，RPC需要解决的问题

    • 函数映射

    • 数据转换成字节流

    • 网络传输

image.png

RPC概念模型

  • 1984年Nelson发表了论文《Implementing Remote Procedure Calls》，提出了PRC的过程由五个模型组成：User、User-Stub、PRC-Runtime、Server-Stub、Server

image.png

一次PRC的完整过程

  • IDL(Interface description language)文件
    • IDL通过一种中立的方式来描述接口，使得在不同平台上运行的对象和不同语言编写的程序可以互相通信
  • 生成代码
    • 通过编译器工具把IDL文件转换成语言对应的静态库
  • 编解码
    • 从内存中表示到字节序列的转换称为编码，反之为解码，也常叫做序列化和反序列化
  • 通信协议
    • 规范了数据在网络中的传输内容和格式。除必须的请求/响应数据外，通常还会包含额外的元数据
  • 网络传输
    • 通常基于成熟的网络库走TCP/UDP传输

image.png

RPC的好处

  • 单一职责，有利于分工协作和运维开发
  • 可扩展性强，资源使用率更优
  • 故障隔离，服务的整体可靠性更高

RPC的问题

  • 服务宕机，对方如何处理？
  • 在调用过程中发生网络异常，如何保证消息的可达性？
  • 请求量突增导致服务无法及时处理，有哪些对应措施？

解决方案：

  • 上述问题可以通过PRC框架的方式来解决

RPC框架分层设计

以Apache Thrift为例

image.png

编解码层

  • 数据格式

    • 语言特定格式：例如 java.io.Serializable
    • 文本格式：例如 JSON、XML、CSV 等
    • 二进制编码：常见有 Thrift 的 BinaryProtocol，Protobuf，实现可以有多种形式，例如 TLV 编码 和 Varint 编码

  • 选型考察点

    • 兼容性：支持自动增加新的字段，而不影响老的服务，这将提高系统的灵活度

    • 通用性：支持跨平台、跨语言

    • 性能：从时间和空间两个维度来考虑，也就是编码后数据大小和编码耗费时长

      • 空间开销
      • 时间开销
  • 生成代码和编解码层相互依赖，框架的编解码应当具备扩展任意编解码协议的能力

image.png

协议层

  • 概念

    • 特殊结束符
      • 一个特殊字符作为每个协议单元结束的标示

    image.png

    • 变长协议
      • 以定长加不定长的部分组成，其中定长的部分需要描述不定长的内容长度

image.png

  • 协议构造
    • LENGTH 字段： 32bits，包括数据包剩余部分的字节大小，不包含 LENGTH 自身长度
    • HEADER MAGIC 字段：16bits，值为：0x1000，用于标识 协议版本信息，协议解析的时候可以快速校验
    • FLAGS 字段： 16bits，为预留字段，暂未使用，默认值为 0x0000
    • SEQUENCE NUMBER 字段： 32bits，表示数据包的 seqId，可用于多路复用，最好确保单个连接内递增
    • HEADER SIZE 字段： 16bits，等于头部长度字节数/4，头部长度计算从第14个字节开始计算，一直到 PAYLOAD 前（备注：header 的最大长度为 64K）
    • PROTOCOL ID 字段： uint8 编码，取值有： - ProtocolIDBinary = 0 - ProtocolIDCompact = 2
    • NUM TRANSFORMS 字段： uint8 编码，表示 TRANSFORM 个数
    • TRANSFORM ID 字段： uint8 编码，表示压缩方式 zlib or snappy
    • INFO ID 字段： uint8 编码，具体取值参考下文，用于传递一些定制的 meta 信息
    • PAYLOAD：消息内容

以Thrift的THeader协议为例

image.png

  • 协议解析

image.png

网络通信层

  • Sockets API

image.png

  • 网络库
    • 提供易用API
      • 封装底层Socket API
      • 连接管理和事件分发
    • 功能
      • 协议支持：tcp、udp和uds等
      • 优雅退出、异常处理等
    • 性能
      • 应用层buffer减少copy
      • 高性能定时器、对象池等

RPC框架关键指标

稳定性

  • 保障策略
    • 熔断：保护调用方，防止被调用的服务出现问题而影响到整个网络
    • 限流：保护被调用方，防止大流量把服务压垮
    • 超时控制：避免浪费资源在不可用节点上

image.png 从某种程度上讲超时、限流和熔断也是一种服务降级的手段

  • 请求成功率

    • 负载均衡
    • 重试

  • 长尾请求

    • Backup Request

image.png

易用性

  • 开箱即用
    • 合理的默认参数选项、丰富的文档
  • 周边工具
    • 申城代码工具、脚手架工具

扩展性

  • Middleware：middleware 会被构造成一个有序调用链逐个执行，比如服务发现、路由、负载均衡、超时控制等
  • Option：作为初始化参数
  • 核心层是支持扩展的：编解码、协议、网络传输层
  • 代码生成工具也支持插件扩展

image.png

观测性

  • 三件套：Log、Metric 和 Tracing

  • 内置观测性服务，用于观察框架内部状态

    • 当前环境变量
    • 配置参数
    • 缓存信息
    • 内置 pprof 服务用于排查问题

image.png

高性能

  • 场景
    • 单机多机
    • 单连接多连接
    • 单/多client 单/多server
    • 不同大小的请求包
    • 不同请求类型：例如pingpong、streaming等
  • 目标
    • 高吞吐
    • 低延迟
  • 手段
    • 连接池和多路复用：复用连接，减少频繁建联带来的开销
    • 高性能编解码协议：复用连接，减少频繁建联带来的开销
    • 高性能网络库：Netpoll 和 Netty 等

字节内部RPC框架Kitex实践

  1. 框架文档 Kitex

  1. 自研网络库 Netpoll，背景：

    a. 原生库无法感知连接状态
    b. 原生库存在 goroutine 暴涨的风险

  1. 扩展性：支持多协议，也支持灵活的自定义协议扩展

  1. 性能优化，参考 字节跳动 Go RPC 框架 KiteX 性能优化实践

    a. 网络优化

    • i. 调度优化
    • ii. LinkBuffer 减少内存拷贝，从而减少 GC
    • iii. 引入内存池和对象池

    b. 编解码优化

    • i. Codegen：预计算提前分配内存，inline，SIMD等
    • ii. JIT：无生产代码，将编译过程移到了程序的加载（或首次解析）阶段，可以一次性编译生成对应的 codec 并高效执行

  1. 合并部署

    a. 微服务过微，引入的额外的传输和序列化开销越来越大
    b. 将强依赖的服务统计部署，有效减少资源消耗

引用

  • 字节内部课 - RPC 原理与实践
avatar
文章
阅读
粉丝