RPC框架 ｜ 青训营笔记

zhenyue
98 阅读6分钟

这是我参与「第三届青训营 -后端场」笔记创作活动的的第6篇笔记

基础概念

远程函数调用（RPC）

我们怎么告诉支付服务我们要调用付款这个函数，而不是退款或者充值呢？在本地调用中，函数体是直接通过函数指针来指定的，我们调用哪个方法，编译器就自动帮我们调用它相应的函数指针。但是在远程调用中，函数指针是不行的，因为两个进程的地址空间是完全不一样的。所以函数都有自己的一个ID，在做RPC的时候要附上这个ID，还得有个ID和函数的对照关系表，通过ID找到对应的函数并执行。

客户端怎么把参数值传给远程的函数呢？

在本地调用中，我们只需要把参数压到栈里，然后让函数自己去栈里读就行。但是在远程过程调用时，客户端跟服务端是不同的进程，不能通过内存来传递参数。这时候就需要客户端把参数先转成一个字节流，传给服务端后，再把字节流转成自己能读取的格式。

RPC需要解决的问题

  1. 函数映射
  2. 数据转换成字节流
  3. 网络传输

RPC如何解决函数映射和数据传输

image.png

  • IDL(Interface Description Language)文件：IDL通过一种中立的方式来描述接口，使得在不同平台上运行的对象和用不同语言编写的程序可以相互通信
  • 生成代码：通过编译器工具把IDL文件转换成语言对应的静态库，这里更像是一种约定。同一份IDL生成的文件支持的跨语言，通用性更强
  • 编解码：将传输的数据序列化与反序列化
  • 通信协议：规范了数据在网络中的传输内容和格式，除了必须的请求/响应数据外，通常还会包含额外的元数据
  • 网络传输：通常基于成熟的网络库走TCP/UDP传输
  • 调用流程：将参数及调用函数等序列化后通过特定协议使用TCP/UDP传输到服务端，服务端根据协议接收到相应数据进行反序列化后调用相应的函数并以相同的方式传回给客户端

相比本地函数调用，远程调用的话我们不知道对方有哪些方法，以及参数长什么样，所以需要有一种方式来描述或者说声明我有哪些方法，方法的参数都是什么样子的，这样的话大家就能按照这个来调用，这个描文件就是 IDL文件。

服务双方是通过约定的规范进行远程调用，双方都依赖同一份IDL文件，需要通过工具来生成对应的生成文件，具体调用的时候用户代码需要依赖生成代码，所以可以把用户代码和生成代码看做一个整体。 编码只是解决了跨语言的数据交换格式，但是如何通讯呢？需要制定通讯协议，以及数据如何传输？我的网络模型如何呢？那就是这里的 transfer 要做的事情。

RPC的好处

  1. 单一职责，开发（采用不同的语言）、部署以及运维（上线独立）都是独立的
  2. 可扩展性强，例如压力过大的时候可以独立扩充资源，底层基础服务可以复用，节省资源
  3. 某个模块发生故障，不会影响整体的可靠性

RPC的问题

  1. 服务宕机，对方该如何处理
  2. 在调用过程中发生网络异常，如何保证消息的可达性
  3. 请求量突增导致服务无法及时处理，有哪些处理措施

RPC分层设计

RPC 框架主要核心有三层：编解码层、协议层和网络通信层

编解码层

生成代码

image-2.png

数据格式
  1. 语言特定的格式：许多编程语言都内建了将内存对象编码为字节序列的支持，例如 Java 有 java.io.Serializable。这种编码形式好处是非常方便，可以用很少的额外代码实现内存对象的保存与恢复，这类编码通常与特定的编程语言深度绑定，其他语言很难读取这种数据。如果以这类编码存储或传输数据，那你就和这门语言绑死在一起了。安全和兼容性也是问题
  2. 文本格式：文本格式具有人类可读性，数字的编码多有歧义之处，比如XML和CSV不能区分数字和字符串，JSON虽然区分字符串和数字，但是不区分整数和浮点数，而且不能指定精度，处理大量数据时，这个问题更严重了；没有强制模型约束，实际操作中往往只能采用文档方式来进行约定，这可能会给调试带来一 些不便。由于JSON在一些语言中的序列化和反序列化需要采用反射机制，所以在性能比较差；
  3. 二进制编码：实现可以有很多种，TLV 编码 和 Varint 编码
选型
  1. 兼容性：支持自动增加新的字段，而不影响老的服务，这将提高系统的灵活度
  2. 通用性：支特跨平台、跨语言
  3. 性能：从空间和时间两个维度来考虑，也就是编码后数据大小和编码耗费时长

协议层

协议是双方确定的交流语义，比如：我们设计一个字符串传输的协议，它允许客户端发送一个字符串，服务端接收到对应的字符串。这个协议很简单，首先发送一个4字节的消息总长度，然后再发送1字节的字符集charset长度，接下来就是消息的payload，字符集名称和字符串正文。 特殊结束符：过于简单，对于一个协议单元必须要全部读入才能够进行处理， 要防止用户传输的数据不能同结束符相同，否则就会出现紊乱 HTTP 协议头就是以回车(CR)加换行(LF)符号序列结尾。 变长协议：一般都是自定义协议，有 header 和 payload 组成，会以定长加不定长的部分组成，其中定长的部分需要描述不定长的内容长度，使用比较广泛

网络通信层

  • 提供易用 API

    封装底层 Socket APl

    连接管理和事件分发

  • 功能

    协议支持：tcp、udp 和 uds 等

    优雅退出、异常处理等

  • 性能

    应用层 buffer 减少 copy

    高性能定时器、对象池等

链接: 课程ppt

avatar
文章
阅读
粉丝