RPC概念学习 | 青训营笔记

116 阅读5分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 七 天

这里是对于RPC框架的内部原理讲解

基本概念

本地调用

image-20230121092426821

RPC

Remote Procedure Calls

image-20230121092453875

  • RPC需要解决的问题:

    • 函数映射
    • 数据转换为字节流
    • 网络传输

RPC概念模型

image-20230121092656683

一次完整的RPC的过程

image-20230121092801958

  • IDL (Interface description language)文件: IDL通过一种中立的方式来描述接口,使得在不同平台上运行的对象和用不同语言编写的程序可以相互通信。
  • 生成代码: 通过编译器工具把IDL文件转换成语言对应的静态库。
  • 编解码: 从内存中表示到字节序列的转换称为编码,反之为解码,也常叫做序列化和反序列化。
  • 通信协议: 规范了数据在网络中的传输内容和格式。除必须的请求/响应数据外,通常还会包含额外的元数据。
  • 网络传输: 通常基于成熟的网络库走TCP/UDP传输。

RPC的好处

image-20230121093209392

  1. 单一职责,有利于分工协作和运维开发
  2. 可拓展性强,资源使用率更优
  3. 故障隔离,服务的整体可靠性更高

RPC带来的问题

image-20230121093326696

  1. 服务宕机,如何处理?
  2. 网络异常,如何保证消息的可达性?
  3. 请求量突增,服务无法及时处理,如何应对?
  • 上面的问题,会由RPC框架帮助我们进行处理昂!!!

分层设计

Apache Thrift

image-20230121093533608

编解码层

image-20230121093609178

编解码层的逻辑,其实被封装在生成代码和TProtocal中昂!

生成代码

image-20230121093723551

数据格式

  • 语言特定的格式: (一般和语言绑定死了,但是使用很方便,语言提供原生支持),例如Java: java.io.Serializable
  • 文本格式: JSON, XML, CSV等文本文件,具有人类可读性
  • 二进制编码: 跨语言,高性能,常见的Thrift的BinaryProtocol, Protobuf等

二进制编码

image-20230121095008594

Tag + Length + Value: 但是也可以看到,Tag 和 Length有额外的内存开销,基本类型开销大,Length占用的字节长,但是实际数据可能很短昂... -> 还有别的编码方式昂!

选型

  • 兼容性:支持自动添加新的字段,而不影响老的服务,提高系统的灵活度。
  • 通用性:支持跨平台、跨语言。
  • 性能:从空间和时间两个维度来考虑,也就是编码后数据大小和编码耗费时长。

协议层

image-20230121095932765

概念

image-20230121100156443

特殊结束符:特殊字符作为每个协议单元结束的标示。(HTTP就是这样的)

变长协议:以定长加不定长的部分组成,其中定长的部分需要描述不定长的内容长度。

协议构造

image-20230121100642546

协议解析

image-20230121102017572

网络通信层

image-20230121102200461

Sockets API

image-20230121102234596

网络库

image-20230121102544089

关键指标

稳定性

保障策略

  1. 熔断:保护调用房,防止被调用的服务出现问题影响整个链路
  2. 限流:保护被调用房,防止大流量把服务打垮
  3. 超时控制:避免浪费资源在不可用节点上

image-20230121102814068

都是降级措施昂!!!

请求成功率

image-20230121102923074

长尾请求

明显高于平均响应时间的那部分占比比较小的请求。

pc99就是这个指标。

image-20230121103533469

backup request -> 如果请求过慢(t3不妨设置为pc99),再请求一次,可能就好了(我是急急国王?)

注册中间件

image-20230121103744707

尽可能保证稳定性

易用性

image-20230121103913870

包装好了,并且好用!!!

拓展性

image-20230121103947254

提供尽可能多的拓展点,方便系统拓展昂!!!

观测性

image-20230121104349266

外部 + 内部 => 可观测性,暴露出来,方便我们调试框架内部的运行状况。

高性能

image-20230121104452966

高吞吐:请求尽可能多

低延迟:请求时间尽可能短(可能是更重要的指标昂!)

企业实践

整体架构-Kitex

image-20230121104807487

自研网络库

背景

image-20230121104844791

Netpoll

image-20230121104919033

扩展性设计

image-20230121105000545

性能优化

网络库优化

image-20230121105046607

编解码优化

image-20230121105216811

合并部署

image-20230121110802696

image-20230121112430578