RPC框架 ｜ 青训营笔记

可是我不会啊
74 阅读5分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 15 天

一、本堂课重点内容：

  1. RPC 框架的分层设计
  1. 衡量 RPC 框架的一些核心指标

二、详细知识点介绍：

基本概念

RPC 需要解决的问题

  • 函数映射
  • 数据转换成字节流
  • 网络传输
    客户端怎么把参数值传给远程的函数呢？
    在本地调用中，我们只需要把参数压到栈里，然后让函数自己去栈里读就行。但是在远程过程调用时，客户端跟服务端是不同的进程，不能通过内存来传递参数。这时候就需要客户端把参数先转成一个字节流，传给服务端后，再把字节流转成自己能读取的格式。

RPC概念模型

image.png

一次 RPC 的完整过程

  • IDL（Interface description language）文件

    • IDL 通过一种中立的方式来描述接口，使得在不同平台上运行的对象和用不同语言编写的程序可以相互通信

  • 生成代码

    • 通过编译器工具把 IDL 文件转换成语言对应的静态库

  • 编解码

    • 从内存中表示到字节序列的转换称为编码，反之为解码，也常叫做序列化和反序列化

  • 通信协议

    • 规范了数据在网络中的传输内容和格式。除必须的请求/响应数据外，通常还会包含额外的元数据

  • 网络传输

    • 通常基于成熟的网络库走 TCP/UDP 传输

image.png

RPC的好处

  1. 单一职责，有利于分工协作和运维开发
    • 开发（采用不同的语言）、部署以及运维（上线独立）都是独立的
  2. 可拓展性强，资源使用率更优
    • 例如压力过大的时候可以独立扩充资源，底层基础服务可以复用，节省资源
  3. 故障隔离，服务的整体可靠性更高
    • 某个模块发生故障，不会影响整体的可靠性

RPC 带来的问题

  1. 服务宕机，对方应该如何处理？
  2. 在调用过程中发生网络异常，如何保证消息的可达性
  3. 请求量突增导致服务无法及时处理，有哪些应对措施？

分层设计

image.png

编解码层

image.png

生成代码

image.png

数据格式
  • 语言的特定形式
    • 许多编程语言都内建了将内存对象编码为字节序列的支持，例如Java有 java.io.Serializable
  • 文本格式
    • JSON、XML\CSV 等文本格式，具有人类可读性
  • 二进制编码
    • 具备跨语言和高性能等优点，常见有 Thrift 的BinaryProtocol，Protobuf等

image.png

选型
  • 兼容性
  • 通用性
  • 性能

协议层

  • 特殊结束符
    • 一个特殊字符作为每个协议单元结束的标志
  • 变长协议
    • 以定长加不定长的部分组成，其中定长的部分需要描述不定长的内容长度
协议构造

image.png

协议解析

image.png

网络通信层

Sockets API

image.png

网络库
  • 提供易用API
    • 封装底层 Socket API
    • 连接管理和事件分发
  • 功能
    • 协议支持：tcp、udp和uds等
    • 优雅推出、异常处理等
  • 性能
    • 应用层 buffer 减少 copy
    • 高性能定时器、对象池等
核心指标
  • 吞吐高
  • 延迟低

核心指标

  • 稳定性

    • 保障策略

      • 熔断：保护调用方，防止被调用服务出现问题影响整个链路
      • 限流：保护被调用方，防止大流量把服务压垮
      • 超时：避免浪费资源在不可用节点上

    • 请求成功率

      • 负载均衡
      • 重试

    • 长尾请求

      • BackupRequest

  • 易用性

    • 开箱即用
    • 周边工具
  • 扩展性

  • 观测性

    • Log
    • Metric
    • Tracing
    • 内置观测性服务
  • 高性能

三、实践练习例子：

  1. 架构 image.png core是它的的主干逻辑，定义了框架的层次结构、接口，还有接口的默认实现，如中间蓝色部分所示，最上面client和server是对用户暴露的，client/server option的配置都是在这两个package中提供的。


client/server下面的是框架治理层面的功能模块和交互元信息，remote是与对端交互的模块，包括编解码和网络通信。


右边绿色的byted是对字节内部的扩展，集成了内部的二方库还有与字节相关的非通用的实现，在第二节高级特性中关于如何扩展kitex里有介绍过，byted部分是在生成代码中初始化client和server时通过suite集成进来的，这样实现的好处是与字节的内部特性解耦，方便后续开源拆分。


左边的tool则是与生成代码相关的实现，我们的生成代码工具就是编译这个包得到的，里面包括idl解析、校验、代码生成、插件支持、自更新等，未来生成代码逻辑还会做一些拆分，便于给用户提供更友好的扩展

  1. 自研网络库 Netpoll，背景：

    a. 原生库无法感知连接状态
    b. 原生库存在 goroutine 暴涨的风险

  2. 扩展性：支持多协议，也支持灵活的自定义协议扩展

  3. 性能优化，参考 字节跳动 Go RPC 框架 KiteX 性能优化实践

    a. 网络优化

  • i. 调度优化
  • ii. LinkBuffer 减少内存拷贝，从而减少 GC
  • iii. 引入内存池和对象池

b. 编解码优化

  • i. Codegen：预计算提前分配内存，inline，SIMD等
  • ii. JIT：无生产代码，将编译过程移到了程序的加载（或首次解析）阶段，可以一次性编译生成对应的 codec 并高效执行

  1. 合并部署

    a. 微服务过微，引入的额外的传输和序列化开销越来越大
    b. 将强依赖的服务统计部署，有效减少资源消耗

四、课后个人总结：

感觉RPC的构造挺复杂的，每个层都有许多设计细节。

五、引用参考：

【后端专场 学习资料五】第五届字节跳动青训营 - 掘金 (juejin.cn)

avatar
文章
阅读
粉丝