深入浅出RPC框架|青训营笔记

huntressie
87 阅读5分钟

这是我参与「第三届青训营 -后端场」笔记创作活动的的第13篇笔记

  • 远程函数调用(RPC-Remote Procedure Calls)
    • 需要解决的问题
      • 函数映射
      • 数据转换成字节流
      • 网络传输
    • 基本概念
      • IDL(Interface description language)文件
        • IDL通过一种中立的方式来描述接口，使得在不同平台上运行的对象和用不同语言编写的程序可以相互通信
      • 生成代码
        • 通过编译器工具把`IDL文件转换成语言对应的静态库
      • 编解码
        • 从内存中表示到字节序列的转换称为编码，反之为解码，也常叫作序列化和反序列化
      • 通信协议
        • 规范了数据在网络中的传输内容和格式。除必须的请求/响应数据外，通常还会包含额外的元数据
      • 网络传输
        • 通常基于成熟的网络库走TCP/UDP传输
    • RPC的好处
      • 单一职责，有利于分工协作和运维开发
      • 可扩展性强，资源使用率更优
      • 故障隔离，服务的整体可靠性更高
    • RPC带来的问题
      • 服务宕机，对方应该如何处理
      • 在调用过程中发生网络异常，如何保证消息的可达性
      • 请求量突增导致服务无法及时处理，有哪些应对措施
  • 分层设计
    • 编解码层-二进制编码
      • TLV编码
        • Tag:标签，可以理解为类型
        • Length:长度
        • Value:值，Value也可以是个TLV结构
      • 选型
        • 兼容性
          • 支持自动增加新的字段，而不影响老的服务，这将提高系统的灵活度
        • 通用性
          • 支持跨平台、跨语言
        • 性能
          • 从空间和时间两个维度来考虑，也就是编码后数据大小和编码耗费时长
    • 协议层
      • 基本概念
        • 特殊结束符
          • 一个特殊字符作为每个协议单元结束的标示
        • 变长协议
          • 以定长加不定长的部分组成，其中定长的部分需要描述不定长的内容长度
      • 协议构造
        • length:数据包大小，不包括自身
        • header magic:标识版本信息，协议解析时候快速校验
        • sequence number:表示数据包的seqID，可用于多路复用，单连接内递增
        • header size:头部长度，从第14个字节开始计算一直到payload前
        • protocol id:解编码方式，有binary和compact两种
        • transform id:压缩方式，如zlib和snappy
        • info id:传递一些定制的meta信息
        • payload:消息体
    • 网络通信层
      • Sockets API
        • 处于应用层与传输层之间
      • 网络库
        • 提供易用API
          • 封装底层Socket API
          • 连接管理和事件分发
        • 功能
          • 协议支持:tcp、udp和uds等
          • 优雅退出、异常处理等
        • 性能
          • 应用层buffer减少copy
          • 高性能定时器、对象池等
  • 关键指标
    • 稳定性
      • 保障策略
        • 熔断
          • 保护调用方，防止被调用的服务为出现问题而影响到整个链路
        • 限流
          • 保护被调用方，防止大流量把服务压垮
        • 超时控制
          • 避免浪费资源在不可用节点上
      • 请求成功率
        • 负载均衡
        • 重试
      • 长尾请求
        • 明显高于平均耗时的占比较少的请求
        • Backup Request:一定时间(pc99)后重试请求
      • 注册中间件
    • 易用性
      • 开箱即用
        • 合理的默认参数选项、丰富的文档
      • 周边工具
        • 生成代码工具、脚手架工具
    • 扩展性
      • middleware
      • option
      • 编解码层
      • 协议层
      • 网络传输层
      • 代码生成工具插件扩展
    • 观测性
      • Log、Metric、Tracing
      • 内置观测性服务
    • 高性能
      • 场景
        • 单机多机
        • 单连接多连接
        • 单/多client，单/多server
        • 不同大小的请求包
        • 不同请求类型，例如pingpong、streaming等
      • 目标
        • 高吞吐
        • 低延迟
      • 手段
        • 连接池
        • 多路复用
        • 高性能编解码协议
        • 高性能网络库
    • 企业实践
      • 整体框架
        • Kitex Core
          • 核心组件
        • Kitex Byted
          • 与公司内部基础设施集成
        • Kitex Tool
          • 代码生成工具
      • 自研网络库
        • 背景
          • 原生库无法感知连接状态
            • 在使用连接池时，池中存在失效连接，影响连接池的复用
          • 原生库存在goroutine暴涨风险
            • 一个连接一个goroutine的模式，由于连接利用率低下，存在大量goroutine占用调度开销，影响性能
        • Netpoll
          • 解决无法感知连接状态问题
            • 引入epoll主动监听机制，感知连接状态
          • 解决goroutine暴涨风险
            • 建立goroutine池，复用goroutine
          • 提升性能
            • 引入Nocopy buffer，向上层提供Nocopy的调用接口，编解码层面零拷贝
      • 扩展性设计
        • 支持多协议，也支持灵活的自定义协议扩展
      • 性能优化
        • 网络库优化
          • 调度优化
            • epoll_wait在调度上的控制
            • gopool重用goroutine降低同时运行协程数
          • LinkBuffer
            • 读写并行无锁，支持nocopy地流式读写
            • 高效扩缩容
            • Nocopy Buffer池化，减少GC
          • Pool
            • 引入内存池和对象池，减少GC开销
        • 编解码优化
          • Codegen
            • 预计算并预分配内存，减少内存操作次数，包括内存分配和拷贝
            • Inline减少函数调用次数和避免不必要的反射操作等
            • 自研了Go预言实现的Thrift IDL解析和代码生成器，支持完善的Thrift IDL语法和语义检查，并支持了插件机制-Thriftgo
          • JIT(Just in Time及时编译)
            • 使用JIT编译技术改善用户体验的同时带来更强的编解码性能，减轻用户维护生成代码的负担
            • 基于JIT编译技术的高性能动态Thrift编解码器-Frugal
      • 合并部署
        • 微服务过微，传输和序列化开销越来越大
        • 将亲和性强的服务实例尽可能调度到同一个物理机，远程RPC调用优化为本地IPC调用
        • 改造方法
          • 中心化的部署调度和流量控制
          • 基于共享内存的通信协议
          • 定制化的服务发现和连接池实现
          • 定制化的服务启动和监听逻辑
avatar
文章
阅读
粉丝