深入浅出RPC框架|青训营笔记

du复
124 阅读6分钟

这是我参与「第三届青训营 -后端场」笔记创作活动的第3篇笔记

深入浅出RPC框架

什么是RPC？ RPC（Remote Procedure Call）框架使得一个进程可以调用另一个进程里的procedure, 是编写网络应用的基础设施。 RPC需要解决的问题

  1. 函数映射
  2. 数据转化成字节流
  3. 网络传输 一次RPC的过程
  • IDL文件
    IDL通过一个中立的方式来描述接口，使得在不同平台上运行的对象和不同语言编写的程序可以相互通信
  • 生成代码
    通过编译工具把IDL文件转换成语言对应的静态库
  • 编解码
    从内存中表示到字节序列的转换称为编码，反之为解码。也就是序列化和反序列化
  • 通信和网络传输
    通常会基于成熟的网络库使用TCP/UDP传输

RPC的好处

  1. 单一职责，有利于分工协作和运维开发
  2. 可扩展性强，资源使用率更优
  3. 故障隔离，服务整体可靠性高

RPC带来的问题

  1. 服务宕机，对方该怎么处理
  2. 在调用过程中发生网络异常，如何保证消息的可达性
  3. 服务需求量激增时，该怎么处理

分层设计

1653976716(1).png

编解码层

数据格式

  • 语言特定的格式
    例如 java.io.Serializable，与语言绑定，存在通用性问题
  • 文本格式
    JSON、XML、CSV等文本格式，具有人类可读性，性能较低
  • 二进制编码
    具有跨语言和高性能等优点，常见Thrift的BinaryProtocol，Protobuf等

二进制编码

TLV编码

  • Tag: 标签
  • Lenght： 长度
  • Value： 值

1653979231(1).jpg

选型

  • 兼容性 支持自动增加新的字段，而不影响老的服务
  • 通用性 支持跨语言，跨平台
  • 性能 从空间和时间两个维度来考虑，也就是编码后数据大小和编码耗费时间长

协议层

协议类型

  • 特殊结束符
    一个特殊字符作为每个协议单元结束的标示 176e0b31d8ccc3b142b951ac9482eb9.png
  • 变长协议
    以定长加不定长的部分组成，其中定长的部分需要描述不定长内容的长度 1653980920(1).png 协议构造

1653981215(1).png\

  • LENGTH：数据包大小，不包含自身
  • HEADER MAGIC：标识版本信息，协议解构时候快速校验
  • SEQUENCE NUMBER：表示数据包的seqID，可用于多路复用，单连接内递增
  • HEADER SIZE：头部长度，从第14个字节开始计算一直到PAYLOAD前
  • PROTOCOL ID：编解码方式，有Binary和Compact两种
  • TRANSFORM ID：压缩方式，如zlib和snappy
  • INFO ID：传递一些定制的meta信息
  • PAYLOAD：消息体

网络层

Sockets API 1653981583(1).png

网络库

  • 提供易用API 封装底层 Socket API 连接管理和事件分发
  • 功能 协议支持：tcp，udp,uds 优雅退出、异常处理等
  • 性能 应用层buffer减少copy 高性能定时器，对象池

RPC关键指标

稳定性 - 保障策略

  • 熔断： 保护调用方，防止被调用的服务出现问题而影响整个网络
  • 限流： 保护调用方，防止大流量服务把服务压垮
  • 超时控制： 避免浪费资源在不可用节点上

请求成功率

  • 负载均衡

1653981852(1).png\

  • 重试

1653981869(1).png\

长尾请求

Backup Request 长尾请求一般是指明显高于均值的那部分占比较小的请求。 业界关于延迟有一个常用的P99标准， 也就是99%的请求延迟要满足在一定耗时以内， 1%的请求会大于这个耗时， 而这1%就可以认为是长尾请求。
双发机制，它可以有效解决长尾问题，同时能提升系统吞吐量。在发送一次请求后等待 P90(在 T1 时间内有 90% 的请求都能返回则称 P90=T1，通常系统的 P90 和程序设置的超时时间相比小很多)时间。

稳定性 - 注册中间件

1653982561(1).png

易用性

  • 开箱即用 合理的默认参数选项、丰富的文档
  • 周边工具 生成代码工具，脚手架工具

扩展性

  • Middleware
  • Option
  • 编解码协议
  • 协议层
  • 网络传输层
  • 代码生成工具插件扩展

观测性

  • log、Metric、Tracing
  • 内置观测性服务

1653982642(1).png

高性能

  • 场景
    • 单多机
    • 单连接多连接
    • 单/多client 单/多server
    • 不同大小的请求包
    • 不同请求类型
  • 目标
    • 高吞吐
    • 低延迟
  • 手段
    • 连接池
    • 多路复用
    • 高性能编码协议
    • 高性能网络库

Kitex

整体架构

Kitex Core 核心组件 Kitex Byted 与公司内部设施集成 Kitex Tool 代码生成工具

1653982900(1).png

网络库

原生库的问题

  • 无法感知连接状态 在使用连接池时，池中存在失效连接，影响连接池的复用
  • 存在goroutine暴涨的风险 一个连接一个goroutine的模式，由于连接利用率低下，存在大量的goroutine占用调度开销，影响性能

Netpoll

  • 解决无法感知连接状态问题 引入epoll主动监听机制，感知连接状态
  • 解决goroutine暴涨的风险 建立goroutine池，复用gotoutine
  • 提升性能 引入Nocopy Buffer，向上层提供NoCopy的调用接口，解码层面零拷贝 零拷贝 image.png 网络库优化
  • 调度优化 epoll_wait在调度上的控制 gopool重用goroutine，降低同时运行协程数
  • LinkBuffer 读写并行无锁，支持nocopy地流式读写 高效扩缩容 Nocopy Buffer池化，减少GC
  • Pool 引入内存池和对象池，减少GC开销

编解码优化

  • Codegen 预计算并预分配内存，减少内存操作次数，包括内存分配和拷贝
    inline 减少函数调用次数和避免不必要的反射操作
    自研了Go语言实现的Thrift IDL解析和代码生成器，支持完善的Thrift IDL语法和语义检查，并支持了插件机制 - Thriftgo
  • JIT 使用JIT编译技术改善用户体验的同时带来更强的编码性能，减轻用户维护生成代码的负担 基于JIT编译技术的高效能动态Thrift编解码器 - Frugal

合并部署

微服务过微，传输和序列化开销越来越大 将亲和性强的微服务实例尽可能调度到同一物理机，远程RPC调用优化为IPC调用

  • 中心化的调度和流量控制
  • 基于共享内存的通信协议
  • 定制化的服务发现和连接池实现
  • 定制化的服务启动和监听逻辑
avatar
文章
阅读
粉丝