RPC框架的设计
简介：本文主要记录了RPC框架的相关知识，框架的基本概念、框架的优点及存在问题、框架的层次结构、性能优化等内容。
一、RPC需要解决的问题
- 函数映射。通过一定的映射关系，找到调用执行的函数。
- 数据转换成字节流。相比于本地的入栈操作，远程调用需要将调用的数据转成字节流传输。
- 网络传输。
二、基本概念
IDL文件：（Interface description language）是通过一种中立的方式来描述接口，使得在不同平台上运行的对象和用不同语言编写的程序可以相互通信。
生成代码： 通过编译器工具把IDL文件转换成语言对应的静态库。
编译码： 从内存中表示到字节序列的转换称为编码，反之为解码，也常叫做序列化和发序列化。
通信协议： 规范了数据在网络中的传输内容和格式，除必须的请求/响应数据外，通常包含额外的元数据。
网络传输： 通常基于成熟的网络库TCP/UDP传输。
三、RPC优缺点
优点
- 单一职责，有利于分工协作和运维开发。
- 可扩展性强，资源使用率更优。
- 故障隔离，服务的整体可靠性更高。
存在问题
- 两个服务之间调用，服务宕机时如何处理。
- 调用过程中发生网络异常，如何保证消息的可达性。
- 请求量突增导致服务无法及时处理时，如何解决。
四、分层设计
1. 编解码层-数据格式
语言特定的格式： 许多编程语言都内建了将内存对象编码为字节序列的支持。
文本格式： JSON、XML、CSV等文本格式，具有人类可读性。
二进制编码： 具备跨语言和高性能等优点，有BinaryProtocol、Protobuf等。
2. 编解码层-选型
兼容性： 支持自动增加新的字段，而不影响老的服务，这将提高系统的灵活度。
通用性： 支持跨平台、跨语言。
性能： 从空间和时间两个维度来考虑，编码后的数据大小和编码耗费时长。
3. 协议层-协议构造
length： 数据包大小，不含自身；
header magic： 标识版本信息，协议解析时快速校验。
sequence number： 表示数据包的seqID，可用于多路复用，单连接内递增。
header size： 头部长度，从第14个字节开始计算到payload之前。
protocol id： 编解码方式，有Binary和Compact两种。
transform id： 压缩方式，有zlib和snappy。
info id： 传递一些定制的meta信息。
payload： 消息体。
4. 网络通讯层-网络库指标
- 提供易用API：封装底层Socket API，连接管理和事件分发。
- 功能：协议支持tcp、udp、uds等；优雅退出，异常处理。
- 性能：应用层buffer减少copy，高性能定时器、对象池等。
五、构建RPC关键指标
1. 稳定性
保障策略
- 熔断：保护调用方，防止被调用的服务出现问题而影响整个链路。
- 限流：保护被调用方，防止大量流量把服务压垮。
- 超时控制：避免浪费资源在不可用节点上。
请求成功率：通过负载均衡和重试解决。
长尾请求：请求时间超过了平均响应时间的那少部分请求。Backup Request备份请求解决长尾请求。
2. 易用性
- 开箱即用：合理的默认参数选项、丰富的文档。
- 周边工具：生成代码工具、脚手架工具。
3. 扩展性
中间件、Option、编解码层、协议层、网络传输层、代码生成工具插件扩展。
4. 观测性
内部配置、环境变量、日志、线程状态等查看框架的运行情况。
5. 高性能
- 场景：单机多机、单连接多连接、不同大小请求包、请求类型等。
- 目标：高吞吐、低延迟。
- 手段：连接池、多路复用、高性能编解码协议、高性能网络库。
六、性能优化
1. 网络库优化
- 调度优化：epoll_wait在调度上的控制；gopool重用goroutine降低同时运行协程数。
- LinkBuffer：读写并行无锁，支持nocopy流式读写；高效扩缩容；Nocopy Buffer池化，减少GC。
- Pool：引入内存池和对象池，减少GC开销。
2. 编解码优化
- Codegen：预算并分配内存，减少内存操作数，包括内存分配和拷贝。Inline减少函数调用次数和避免不必要的反射操作等；自研了Go语言实现的thrift IDL解析和代码生成器，支持完善的Thrift IDL语法和语义检查，并支持了插件机制-Thriftgo。
- JIT：使用JIT编译技术改善用户体验的同时带来了更强的编解码性能，减轻用户维护生成代码的负担。
七、总结
本文主要记录了RPC框架的相关知识，框架的基本概念、框架的优点及存在问题、框架的层次结构、性能优化等内容，重点介绍了框架的分层设计和关键指标。
