远程过程调用 (RPC) | 青训营笔记

YanLien
182 阅读6分钟

RPC基本概念

远程过程调用 (RPC) 是一种用于构建分布式、基于客户端-服务器的应用程序的强大技术。它基于扩展传统的本地过程调用，因此被调用过程不需要与调用过程存在于同一地址空间中。这两个进程可能在同一个系统上，或者它们可能在不同的系统上，并通过网络连接它们。通过上面的表述可以发现RPC需要解决以下的几个问题：

  • 函数映射
  • 数据转换成字节流
  • 网络传输

operating-system-remote-call-procedure-working.png

以下步骤在 RPC 期间发生： 

  1. 客户端调用客户端存根过程，以通常的方式传递参数。客户端存根驻留在客户端自己的地址空间中。 
  2. 客户端存根将参数编组（打包） 到消息中。编组包括将参数的表示形式转换为标准格式，并将每个参数复制到消息中。 
  3. 客户端存根将消息传递给传输层，传输层将其发送到远程服务器机器。 
  4. 在服务器上，传输层将消息传递给服务器存根，服务器存根解组（解包） 参数并使用常规过程调用机制调用所需的服务器例程。 
  5. 当服务器过程完成时，它返回到服务器存根 （例如，通过正常过程调用返回） ，服务器存根将返回值编组到消息中。服务器存根然后将消息传递给传输层。 
  6. 传输层将结果消息发送回客户端传输层，客户端传输层将消息返回给客户端存根。 
  7. 客户端存根解组返回参数并将执行返回给调用者。

RPC的好处

  • 单一职责，有利于分工协作和运维开发
  • 可扩展性强，资源使用率更优
  • 故障隔离，服务的整体可靠性更高

RPC带来的问题（可以由RPC框架来解决）

  • 服务宕机，对方应该如何处理
  • 在调用过程中发生网络异常，如何保证消息的可达性
  • 请求量徒增导致服务无法及时处理

RPC框架的分层设计

框架由编解码层，协议层、网络通信层组成

  • 编解码层
    • 数据格式
      • 语言特定的格式
        • 许多编程语言都内建了将内存对象编码为字节序列的支持，例如：Java有Java.io.Serializable
      • 文本格式
        • JSON、XML、YAML、CSV等文本格式，具有人类可读性
      • 二进制编码
        • 具备跨语言和高性能等优点，常见有Thrift的BinaryProtocol、Protobuf等
    • 选型
      • 兼容性
        • 支持自动增加新的字段，而不影响老的服务，这将提高系统的灵活度
      • 通用性
        • 支持跨平台、跨语言
      • 性能
        • 从时间和空间两个维度考虑，也就是编码后数据大小和编码耗费时长
  • 协议层
    • 概念
      • 特殊结束符：一个特殊字符作为每个协议单元结束的标识
      • 变长协议：以定长加不定长的部分组成，其中定长的部分需要描述不定长的内容长度
    • 协议构造
      • LENGTH：数据包大小，不包含自身
      • HEADER MAGIC：标识版本信息，协议解析时候快速校验
      • SEQUENCE NUMBER：表示数据包的SeqID，可用于多路复用，单链接内递增
      • HEADER SIZE：头部长度，从第14个字节开始计算到PAYLOAD前
      • PROTOCOL ID：编解码方式，有Binary和Compact等
      • TRANSFORM ID：压缩方式，有GZIP、Snappy等
      • INFO ID：传递一些定制的meta信息
      • PAYLOAD：消息体
    • 协议解析
  • 网络通信
    • Sockets API(BSD)（位于应用层和传输层之间）
    • 网络库
      • 提供易用的API
        • 封装底层Socket API
        • 连接管理和事件分发
      • 功能
        • 协议支持：TCP、UDP、UDS等
        • 优雅退出、异常处理
      • 性能
        • 应用层Buffer减少Copy
        • 高性能定时器、对象池等

关键指标

  • 稳定性
    • 保障策略
      • 熔断：保护调用方，防止被调用的服务出现问题而影响到整个链路
      • 限流：保护被调用方，防止大流量把服务压垮
      • 超时控制：避免浪费资源在不可用节点上
    • 请求成功率
      • 负载均衡
      • 重试
    • 长尾请求（长尾请求一般是指明显高于均值响应时间的那部分占比较小的请求。业界关于延迟有一个常用的P99标准，也就是99%的请求延迟要满足在一定耗时以内，1%的请求会大于这个耗时，而这1%就可以认为是长尾请求。）
      • Backup Request
    • 注册中间件（通过中间件注入各种服务治理策略，保证服务的稳定性）
  • 易用性
    • 开箱即用
      • 合理的默认参数选项，丰富的文档
    • 周边工具
      • 生成代码工具、脚手架工具
      • 通过提供合理的默认配置和方便的命令行可以提升框架的易用性
  • 扩展性
    • Middleware
    • Option
    • 编解码层
    • 协议层
    • 网络传输层
    • 代码生成工具插件扩展
  • 观测性
    • Log、Mterics、Trace
    • 内置观测性服务

实现高性能RPC

  • 场景
    • 单机多机
    • 单连接多连接
    • 单/多Client 单/多Server
    • 不同大小的请求包
    • 不同请求类型：例如PingPong、Streaming等
  • 目标
    • 高吞吐
    • 低延迟
  • 手段
    • 连接池
    • 多路复用
    • 高性能编解码协议
    • 高性能网络

常用的RPC框架

跨语言平台的开源RPC框架

  • Thrift：thrift是一个软件框架，用来进行可扩展且跨语言的服务的开发。它结合了功能强大的软件堆栈和代码生成引擎，以构建在 C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, and OCaml 这些编程语言间无缝结合的、高效的服务。
  • gRPC：一开始由 google 开发，是一款语言中立、平台中立、开源的远程过程调用(RPC)系统。 语言平台绑定的开源RPC框架
  • Dubbo：国内最早开源的 RPC 框架，由阿里巴巴公司开发并于 2011 年末对外开源，仅支持 Java 语言。
  • Motan：微博内部使用的 RPC 框架，于 2016 年对外开源，仅支持 Java 语言。
  • Tars：腾讯内部使用的 RPC 框架，于 2017 年对外开源，仅支持 C++ 语言。
  • Spring Cloud：国外 Pivotal 公司 2014 年对外开源的 RPC 框架，仅支持 Java 语言
avatar
文章
阅读
粉丝