RPC框架|青训营笔记

用户2453351036150
76 阅读4分钟

前言

这是我参与【第五届青训营】伴学笔记创作活动第十四天，今天学习的主要内容为RPC框架的基本概念，分层设计，关键指标和RPC框架的企业实践。

正文

1. 基本概念

- 本地函数调用：
  • 将a和b的值压栈，通过函数指针找到calculate函数，进入函数中取出栈中的值2和3，将其赋予x和y，计算x*y，并将结果存在z，将z的值压栈，然后从calculate返回，从栈中取出Z返回值，并赋值给result。
func main（）{
var a=2
var b=3
result ：=calculate（a，b）
fmt。Println（result）
return}
func calculate （x，y int）{
z：=x*y
return z
}
- 远程函数调用
  • RPC需解决的问题：
  • 函数映射；
  • 数据转成字节流
  • 网络传输
- RPC概念模型
  • RPC有五个模型组成：User，User——Stub，RPC——Runtime，Server——Stub，Server。
- 一次完整的RPC过程
  • IDL ( Interface description language )文件： IDL 通过一种中立的方式来描述接口，使得在不同平台上运行的对象和用不同语言编写的程序可以相互通信
  • 生成代码：通过编译器工具把 IDL 文件转换成语言对应的静态库
  • 编解码：从内存中表示到字节序列的转换称为编码，反之为解码，也常叫做序列化和反序列化
  • 通信协议：规范了数据在网络中的传输内容和格式。除必须的请求／响应数据外，通常还会包含额外的元数据
  • 网络传输：通常基于成熟的网络库走 TCP / UDP 传输
- RPC好处
  • 单一职责，有利于分工协作和运维开发
  • 可扩展性强，资源使用率更优
  • 故障隔离，服务整体可靠性更高。
- RPC带来问题
  • 服务宕机
  • 在调用过程中发生网络异常
  • 请求量突增导致服务无法及时处理（均用RPC框架处理）

2.RPC框架（分层设计）

- 编解码层：
  • 生成代码
  • 数据格式：语言特定的格式，许多编程语言都内建了将内存对象编码为字节序列支持；文本格式：JSON,XML,CSV等文本格式，具有人类可读性；二进制编码：具有跨语言和高性能等优点
  • 二进制编码：TLV编码：tag：标签，可以理解为类型；lenght：长度；Value：值，value也可以是个TLV结构。
struct Person{
1：required string    userName
2：optional i64  favoritNumber
3：optional List<string> interests
}
  • 选型：兼容性：支持自动新增字段，而不影响老的服务，这将使高系统的灵活性；通用性：支持跨平台，跨语言；性能：从空间和时间两个维度来考虑，也就是编码后数据大小和编码耗费时长。
- 协议层
  • 概念：特殊结束符：一个特殊字符作为每个协议单元结束的标示。变长协议：以定长加不定长的部分组成，其中定长的部分组成需要描述不定长的内容长度。
  • 协议改造：
  • LENGTH ：数据包大小，不包含自身
  • HEADER MAGIC ：标识版本信息，协议解析时候快速校验
  • SEQUENCE NUMBER ：表示数据包的 seqlD ,可用于多路复用，单连接内递增
  • HEADER SIZE ：头部长度，从第14个字节开始计算一直到 PAYLOAD 前
  • PROTOCOL ID ：编解码方式，有 Binary 和 Compact 两种
  • TRANSFORM ID ：压缩方式，如 zlib 和 snappy
  • INFO ID ：传递一些定制的 meta 信息
  • PAYLOAD ：消息体
  • 协议解析：
-网络通信层
  • Sockets APL
  • 网络库：
  • 提供易用的APL：封装底层Socket APL，连接管理和事件分发；
  • 功能：协议支持：tcp,udp和uds，优雅退出，异常处理等；
  • 性能：应用层buffer减少copy；高性能定时器，对象池等

3.关键指标

- 稳定性：
  • 保障策略：
  • 熔断：保护调用方，防止被调用的服务出现问题影响到整个链路
  • 限流：保护方被调用方，防止大流量把服务压垮
  • 超时控制：避免浪费资源在不可用节点上
  • 请求成功率（提高）：负载均衡，重试
  • 长尾请求：
  • 注册中间件：
- 易用性
  • 开箱即用：合理的默认参数选项，丰富的文档
  • 周边工具：生成代码工具，脚手架工具
  • 简单易用命名行工具：生成服务代码脚手架；支持protobufhethrift；内置功能丰富的选型；支持自定义的生成代码插件
- 扩展性
  • Middleware
  • Option
  • 编解码层
  • 协议层
  • 网络传输层
  • 代码生成工具插件扩展
- 观测性
  • Log ，Metric，Tracing
  • 内置观测性服务
- 高性能
  • 场景：单机多机，单连接多连接，单/多client 单/多server，不同大小的请求包，不同请求类型：例如pingpong，straming
  • 目标：高吞吐，低延迟
  • 手段：连接池，多路复用，高性能编码协议，高性能网络库。
avatar
文章
阅读
粉丝