这是我参与「第五届青训营 」伴学笔记创作活动的第 14 天
RPC需要解决的问题
- 函数映射
- 数据转换成字节流
- 网络传输
RPC的好处
- 单一职责，有利于分工协作和运维开发
- 可扩展性强，资源使用率更优
- 故障隔离，服务的整体可靠性更高
RPC带来的问题
- 服务宕机，对方应该如何处理？
- 在调用过程中发生网络异常，如何保证消息的可达性？
- 请求量突增导致服务无法及时处理，有哪些应对措施？
分层设计
- 用户自己编写的业务逻辑代码
- 通过代码生成工具把IDL文件转换成不同语言对应的lib代码，里面封装了编解码逻辑
- 框架的编解码层
- 框架的协议层
- 框架的网络通信层
编解码层数据格式
- 语言特定的格式：许多编程语言都内建了将内存对象编码为字节序列的支持，例如java有java.io.Serializable
- 文本格式：JSON、XML、CSV等文本格式，具有人类可读性
- 二进制编码：具备跨语言和高性能等优点，常见有Thrift的BinaryProtocol，Protobuf等
协议层概念
- 特殊结束符：一个特殊字符作为每个协议单元结束的标示。
- 变长协议：以定长加不定长的部分组成，其中定长的部分需要描述不定长的内容长度。
协议层-协议构造
- LENGTH：数据包大小，不包含自身
- HEADER MAGIC：标识版本信息，协议解析时候快速校验
- SEQUENCE NUMBER:表示数据包的seqID,可用于多路复用，单连接内递增
- HEADER SIZE:头部长度，从第14个字节开始计算一直到PAYLOAD前
- PROTOCOL ID:编解码方式，有Binary和Compact两种
- TRANSFORM ID：压缩方式，如zlib和snappy
- INFO ID:传递一些定制的meta信息
- PAYLOAD：消息体
网络通信层-网络库
- 提供易用API：封装底层Socket API、连接管理和事件分发
- 功能：协议支持：tcp、udp和uds等、优雅退出、异常处理等
- 性能：应用层buffer减少copy、高性能定时器、对象池等
稳定性-保障策略
- 熔断：保护调用方，防止被调用的服务出现问题而影响到整个链路
- 限流：保护被调用方，防止大流量把服务压垮
- 超时控制：避免浪费资源在不可用节点上
高性能
- 场景：单机多机、单连接多连接、单/多client 单/多server、不同大小的请求包、不同请求类型
- 目标：高吞吐、低延迟
- 手段：连接池、多路复用、高性能编解码协议、高性能网络库
Kitex
自研网络库-Netpoll
- 解决无法感知连接状态问题：引入epoll主动监听机制，感知连接状态
- 解决goroutine暴涨的风险：建立goroutine池，复用goroutine
- 提升性能：引入Nocopy Buffer，向上层提供NoCopy的调用接口，编解码层面零拷贝
性能优化-网络库优化
- 调度优化：epoll_wait在调度上的控制、gopool重用goroutine降低同时运行协程数
- LinkBuffer：读写并行无锁，支持nocopy地流式读写、高性扩缩容、Nocopy Buffer池化，减少GC
- Pool：引入内存池和对象池，减少GC开销
性能优化-编解码优化
- Codegen：预计算并分配内存，减少内存操作次数，包括内存分配和拷贝、Inline减少函数调用次数和避免不必要的反射操作等、自研了Go语言实现的Thrift IDL解析和代码生成器，支持完善的Thrift IDL语法和语义检查，并支持了插件机制-Thriftgo
- JIT：使用JIT编译技术改善用户体验的同时带来更强的编解码性能，减轻用户维护生成代码的负担、基于JIT编译技术的高性能动态Thrift编解码器-Frugal
合并部署
- 中心化的部署调度和流量控制
- 基于共享内存的通信协议
- 定制化的服务发现和连接池实现
- 定制化的服务启动和监听逻辑
总结
本节课程从本地函数调用引出了RPC的概念，重点讲解了RPC框架的核心三层、编解码、协议层和网络传输层，围绕RPC框架的核心指标进行相关知识点的讲解。最后还介绍和讲述了高性能RPC框架Kitex的相关实践。
