RPC 框架｜ 青训营笔记

一伸懒腰又是一天
68 阅读4分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 15 天

  1. RPC 相关的基本概念
  2. RPC 框架的分层设计
  3. 衡量 RPC 框架的一些核心指标
  4. 字节内部 RPC 框架 Kitex 实践分享

1. RPC 的基本概念

  • 相比本地函数调用，RPC远程函数调用调用需要解决的问题

    • 函数映射
    • 数据转换成字节流
    • 网络传输

  • 一次 RPC 的完整过程

    • IDL(Interface Definition Language) 文件，通过一种中立的方式来描述接口，使得在不同平台上运行的对象和用不同语言编写的程序可以相互通信。（约定调用规范）
      • Thrift
      • Protobuf
    • 生成代码，通过编译器工具把IDL文件转换成语言对应的静态库
    • 编解码（序列化/反序列化）
    • 通信协议
      • 应用层协议
    • 网络通信
      • IO 网络模型
        • blocking IO
        • unblocking IO
        • IO multiplexing
        • signal driven IO
        • asynchronous IO
      • 传输层协议
        • TCP
        • UDP

  • 好处

    • 单一职责
    • 可扩展性强
    • 故障隔离

  • 问题——由 RPC 框架来解决

    • 服务宕机如何感知
    • 遇到网络异常应该如何应对
    • 请求量暴增怎么处理

  • RPC的概念模型：User、User-Stub、RPC-Runtime、Server-Stub、Server

2. RPC 框架分层设计

image.png

2.1 编解码层

  • 数据格式

    • 语言特定格式：例如 java.io.Serializable
    • 文本格式：例如 JSON、XML、CSV 等
    • 二进制编码：
      • TLV 编码：Thrift 使用 TLV 编码（tag+length+value）
      • Varint 编码：Protobuf 使用 Varint 编码

  • 选型考察点

    • 兼容性

    • 通用型

    • 性能

      • 空间开销
      • 时间开销

  • 生成代码和编解码层相互依赖，框架的编解码应当具备扩展任意编解码协议的能力

2.2 协议层

  • 概念

    • 特殊结束符
    • 变长协议：length+body

  • 协议构造——以 Thrift 的 THeader 协议为例讲解

image.png

  • 协议解析

2.3 网络通信层

  • socket API image.png
    • bind将socket与地址绑定 backlog 指定挂起的连接队列长度 accept从队列中取出连接请求并接收它
    • connect客户端向服务器发起连接，accept接收后可使用read write与客户端通讯
  • 网络库
    • 封装socketAPI，连接管理和事件分发
    • 协议支持（tcp udp uds） 优雅退出和异常管理
    • 高性能定时器 对象池 应用层buffer减少copy

3. RPC 框架的核心指标

3.1 稳定性

  • 保障策略(服务降级)

    • 熔断
    • 限流
    • 超时控制

  • 请求成功率

    • 负载均衡
    • 重试(有放大故障的风险）
  • 长尾请求BackupRequest
  • 注册中间件

3.2 易用性

  • 开箱即用

    • 合理的默认参数选项、丰富的文档

  • 周边工具

    • 生成代码工具、脚手架工具

3.3 扩展性

  • Middleware：middleware 会被构造成一个有序调用链逐个执行，比如服务发现、路由、负载均衡、超时控制等，封装了治理相关逻辑，mw执行后进入remote板块，完成与远端的通信
  • Option：作为初始化参数
  • 核心层是支持扩展的：编解码、协议、网络传输层
  • 代码生成工具也支持插件扩展

image.png

3.4 观测性

  • 传统三件套：Log（events）、Metric(aggregatable) 和 Tracing(request scoped)

  • 内置观测性服务，用于观察框架内部状态

    • 当前环境变量
    • 配置
    • server/client初始化参数
    • 缓存信息
    • 内置 pprof 服务用于排查问题

3.5 高性能 = 高吞吐+低延迟

  • 连接池和多路复用：复用连接，减少频繁建联带来的开销

  • 高性能编解码协议：Thrift、Protobuf、Flatbuffer 和 Cap'n Proto 等

  • 高性能网络库：Netpoll 和 Netty 等

4. 字节内部 Kitex 实践分享

4.1 框架文档 Kitex

image.png

  • Kitex Core
    • 定义了框架的层次结构/接口和接口的默认实现
    • client/server，对用户暴露，提供option配置
    • 框架治理层面的功能模块和交互元信息
    • remote 与对端交互的模块，包括编解码和网络通信
  • byted
    • 对字节内部的扩展
    • 在生成代码中初始化client和server时通过suite集成进来的
  • tool
    • 与生成代码相关的实现
    • idl解析 校验 生成代码 插件支持 自更新

4.2 自研网络库 Netpoll

  • 原生库（go net）无法感知连接状态 —— 引入Epoll主动监听机制
  • 原生库存在 goroutine 暴涨的风险 —— 建立goroutine池进行复用
  • 提升性能 —— 引入NoCopy Buffer，向上层提供NoCopy的调用接口，编解码层面零拷贝

4.3 扩展性

image.png

4.4 性能优化，参考 字节跳动 Go RPC 框架 KiteX 性能优化实践

a. 网络优化

  • 调度优化
  • LinkBuffer 减少内存拷贝，从而减少 GC
  • 引入内存池和对象池

b. 编解码优化

  • Codegen：预计算提前分配内存，inline，SIMD等
  • JIT：无生产代码，将编译过程移到了程序的加载（或首次解析）阶段，可以一次性编译生成对应的 codec 并高效执行

4.5 合并部署

  • 微服务过微，引入的额外的传输和序列化开销越来越大
  • 将强依赖的服务统计部署，有效减少资源消耗
avatar
文章
阅读
粉丝