NO.2 深入浅出RPC框架笔记概要｜青训营本文主要记录掘金字节内部课程《深入浅出RPC框架》（远程函数调用）笔记，

本文主要记录掘金字节内部课程笔记，主要分为基本概念、分层设计、关键指标、企业实践四个部分，如有错误之处，感谢读者指正！

一、基本概念

1、本地函数调用

将a和 b 的值压栈
通过函数指针找到 calculate 函数，进入函数取出栈中的值 2 和 3，将其赋予 x 和 y
计算 x*y ，并将结果存在 Z
将 z 的值压栈，然后从 calculate 返回
从栈中取出 z 返回值，并赋值给 result

代码示例

func main( ){
var a ；
var b ；
result ：= calculate(a, b)
fmt.PrintIn(result)
return func calculate(x, y int) {
z := x*y 
return zs
}

2、远程函数调用

RPC ：Remote Procedure Calls

RPC 需要解决的问题

函数映射
数据转换成字节流
网络传输

RPC概念模型

一次 RPC 的完整过程

IDL (Interface description language)

文件IDL 通过一种中立的方式来描述接口，使得在不同平台上运行的对象和用不同语言编写的程序可以相互通信

生成代码 通过编译器工具把 IDL 文件转换成语言对应的静态库
编解码

从内存中表示到字节序列的转换称为编码，反之为解码，也常叫做序列化和反序列化

通信协议

规范了数据在网络中的传输内容和格式。除必须的请求/响应数据外，通常还会包含额外的元数据

网络传输

通常基于成熟的网络库走 TCP/UDP 传输

RPC 的好处

单一职责，有利于分工协作和运维开发
可扩展性强，资源使用率更优
故障隔离，服务的整体可靠性更高

3、小结

本地函数调用和 RPC 调用的区别: 函数映射、数据转成字节流、网络传输
RPC 的概念模型: User、User-Stub、RPC-Runtime、Server-Stub、Server
一次 PRC 的完整过程，并讲解了 RPC 的基本概念定义
RPC 带来好处的同时也带来了不少新的问题，将由 RPC 框架来解决

02分层设计

主要分为编解码层、协议层、网络通信层。

1、编解码层

生成代码

数据格式

语言特定的格式

许多编程语言都内建了将内存对象编码为字节序列的支持，例如 Java 有 java.io.Serializable
文本格式

JSON、XML、CSV 等文本格式，具有人类可读性
二进制编码

具备跨语言和高性能等优点，常见有 Thrift 的 BinaryProtocol，Protobuf 等

选型

兼容性

支持自动增加新的字段，而不影响老的服务，这将提高系统的灵活度
通用性

支持跨平台、跨语言
性能

从空间和时间两个维度来考虑，也就是编码后数据大小和编码耗费时长

2、协议层

基本概念

协议构造

协议解析

3、网络通信层

提供易用 API

封装底层 Socket API连接管理和事件分发
功能

协议支持: tcp、udp 和 uds 等优雅退出、异常处理等
性能

应用层 buffer 减少 copy

高性能定时器、对象池等

三、关键指标

1、稳定性

保障策略

熔断:保护调用方，防止被调用的服务出现问题而影响到整个链路
限流:保护被调用方，防止大流量把服务压垮
超时控制:避免浪费资源在不可用节点上

请求成功率

负载均衡，重试

长尾请求

Backup Request

注册中间件

2、易用性

开箱即用

合理的默认参数选项、丰富的文档
周边工具

生成代码工具、脚手架工具

3、扩展性

Middleware Option 编解码层协议层网络传输层代码生成工具插件扩展

4、观测性

三件套：Log、Metric、Tracing

内置观测性服务

5、高性能

场景

单机多机单连接多连接单/多client 单/多server 不同大小的请求包不同请求类型: 例如 pingpong.streaming 等

目标

高吞吐低延迟

手段

连接池多路复用高性能编解码协议高性能网络库

四、企业实践

整体架构

自研网络库 - Netpoll

解决无法感知连接状态问题
引入 epoll 主动监听机制，感知连接状态
解决 goroutine 暴涨的风险
建立 goroutine 池，复用 goroutine 提升性能
引入 Nocopy Buffer，向上层提供 NoCopy 的调用接口，编解码层面零拷贝

扩展性设计

性能优化

调度优化

epoll_wait 在调度上的控制

gopool 重用 goroutine 降低同时运行协程数
LinkBuffer

读写并行无锁，支持 nocopy 地流式读写

高效扩缩容

Nocopy Buffer 池化，减少 GC
Pool

引入内存池和对象池，减少 GC 开销
Codegen

预计算并预分配内存，减少内存操作次数，包括内存分配和拷贝Inline 减少函数调用次数和避免不必要的反射操作等自研了 Go 语言实现的 Thrift IDL 解析和代码生成器，支持完善的 Thrift IDL 语法和语义检查，并支持了插件机制 - Thriftgo
JIT

使用 JIT 编译技术改善用户体验的同时带来更强的编解码性能，减轻用户维护生成代码的负担基于 JIT 编译技术的高性能动态 Thrift 编解码器 - Frugal

合并部署

微服务过微，传输和序列化开销越来越大将亲和性强的服务实例尽可能调度到同一个物理机，远程 RPC 调用优化为本地 IPC 调用

NO.2 深入浅出RPC框架笔记概要 ｜ 青训营