这是我参与「第三届青训营 -后端场」笔记创作活动的的第1篇笔记
性能优化
性能优化与软件质量
性能优化的可维护性
- 保证接口稳定的前提下改进实现：一些固定的接口不要轻易的改动，新增的接口保证可以稳定的使用
- 测试驱动：尽可能用多的测试去覆盖
- 文档：通过清晰的文档告诉用户这一项优化做了什么，没做什么，能达到怎样的效果，方便用户去决定是否使用这个优化
- 隔离：优化代码用选项和原先的路径隔离，保证优化未启用时的行为同以前一致
- 可观测：可以给用户必要的日志输出，可灰度、可回滚
自动内存管理
理论
-
自动内存管理指管理的是动态内存，动态内存指程序在运行时根据需求动态分配的内存
-
自动内存管理具体实现实现有垃圾回收，避免手动管理同时保证内存使用得当（正确性和安全性）
-
三个任务
- 为新对象分配空间
- 找到存活对象
- 回收死亡对象的内存空间
自动内存管理的概念
-
Mutator: （业务线程，用户启动的线程）分配新对象，修改对象指向关系
-
Collector: （GC 线程）找到存活对象，回收死亡对象的内存空间
-
GC算法
-
Serial GC: 只有一个 collector。暂停（stop the world STW)多个Mutator执行一个Collector
-
Parallel GC: 并行 GC，支持多个 collectors 同时回收的 GC 算法。暂停多个Mutator，同步执行多个Collector
-
Concurrent GC: 并发 GC，支持 mutator(s) 和 collector(s) 同时执行的 GC 算法
Concurrent GC：Collectors 必须感知对象指向关系的改变。
-
评价GC算法
- 安全性：基本要求，GC不能回收存活的对象
- 吞吐率：花在GC上的时间
- 暂停时间：暂停时间越短越好，时间越短业务感知暂停越弱
- 内存开销：GC元数据（内存）开销
追踪垃圾回收 Tracing garbage collection
-
被回收的条件：不可达对象
-
过程
-
标记根对象 (GC roots): 静态变量、全局变量、常量、线程栈等(存活)
-
标记：找到所有可达对象
-
清理：回收所有不可达对象占据的内存空间（根据对象生命周期，使用不同的标记和清理策略）
-
Copying GC: 将存活对象从一块内存空间复制到另外内存空间，原先的空间可以直接进行对象分配
-
Mark-sweep GC: 将死亡对象所在内存块标记为可分配，使用 free list 管理可分配的空间
-
Mark-compact GC: 将存活对象复制到同一块内存区域的开头，也可以说是压缩
-
-
引用计数
- 引用计数：每个对象都有一个与之关联的引用数目
- 对象存活的条件：当且仅当引用数大于 0
-
优点
- 内存管理的操作被平摊到程序运行中：指针传递的过程中进行引用计数的增减，同时根据对象存活条件进行内存清空
- 不需要了解 runtime 的细节：因为不需要标记 GC roots，因此不需要知道哪里是全局变量、线程栈等
-
缺点
- 维护引用计数开销大，因为对象可能会被多线程访问，对引用计数的修改需要原子操作保证原子性和可见性
- 无法回收环形数据结构（解决方法 weak reference）
- 每个对象都引入额外存储空间存储引用计数
- 虽然引用计数的操作被平摊到程序运行过程中，但是回收大的数据结构（关联的结点庞大）依然可能引发暂停
Go内存管理及自动优化
Go 内存管理
- 目标：为对象在 heap 上分配内存
-
提前将内存分块
-
调用系统调用 mmap() 向 OS 申请一大块内存，例如 4 MB
-
先将内存划分成大块，例如 8 KB，称作 mspan
-
再将大块继续划分成特定大小的小块，用于对象分配
-
noscan mspan: 分配不包含指针的对象 —— GC 不需要扫描
-
scan mspan: 分配包含指针的对象 —— GC 需要扫描
-
- 对象分配：根据对象的大小，选择最合适的块返回
-
内存缓存
-
mspan, mcache 和 mcentral 构成了内存管理的多级缓存机制。
-
Go 内存管理构成了多级缓存机制，从 OS 分配得的内存被内存管理回收后，也不会立刻归还给 OS，而是在 Go runtime 内部先缓存起来，从而避免频繁向 OS 申请内存。内存分配的路线图如下。
-
Go 内存管理的问题
- 对象分配是非常高频的操作：每秒分配 GB 级别的内存
- Go 的内存分配会占用很多 CPU
- 小对象分配占大多数
-
编译器和静态分析
静态分析：不执行代码，推导程序的行为，分析程序的性质。
- 控制流：程序的执行流程
-
数据流：数据在控制流上的传递
通过分析控制流和数据流，我们可以知道更多关于程序的性质(properties) ，这些事实可以帮助我们做编译优化。
- 过程内分析：Intra-procedural analysis 函数内分析：在函数内进行控制流和数据流的分析
- 过程间分析：Inter-procedural analysis 函数间分析：除了函数内的分析，还需要考虑跨函数的数据流和控制流，例如参数传递，函数返回值等
Go编译器优化
编译器优化目的
- 用户无感知，重新编译即可获得性能收益
- 编译器通用的优化手段
思路
- 面向后端长期执行的任务，用适当增加编译时间换取更高性能的代码
Beast mode：
- 函数内联
- 逃逸分析
- 默认栈大小调整
- 边界检查消除
- 循环展开
函数内联
使用micro-benchmark快速验证和对比性能优化的结果
- 定义：将被调用函数的函数体的副本替换到调用位置上，同时重写代码以反映参数的绑定（合并为一个函数）
-
优点
- 消除调用开销
- 将过程间分析的问题转换为过程内分析，帮助其他分析
-
缺点
- 函数体变大，icache不友好了
- 编译生成的 Go 镜像文件变大（函数被复制了很多副本）
-
采取一定的策略决定是否内联
- 调用和被调用函数的规模
-
Go 内联的限制
- 语言特性：interface, defer 等等，限制了内联优化
- 内联策略非常保守，很多函数都不会被内联
-
（Beast mode）字节跳动的优化方案
- 修改了内联策略，让更多函数被内联
- 降低函数调用的开销，增加了其他优化的机会：逃逸分析
-
开销
- Go 镜像大小略有增加
- 编译时间增加
- 运行时栈扩展开销增加
逃逸分析
- 定义：分析代码中指针的动态作用域，即指针在何处可以被访问
-
大致思路
-
从对象分配处出发，沿着控制流，观察数据流。
-
若发现指针 p 在当前作用域 s:
- 作为参数传递给其他函数；
- 传递给全局变量；
- 传递给其他的 goroutine;
- 传递给已逃逸的指针指向的对象；
-
则指针 p 逃逸出 s，反之则没有逃逸出 s.（p可以在S作用域之外被访问到）
-
-
Beast mode：函数内联扩展了函数的边界，更多的对象不逃逸
-
优化：未逃逸出当前函数的指针指向的对象可以在栈上分配
- 对象在栈上分配和回收很快：移动 sp 即可完成内存的分配和回收；
- 减少在堆上分配对象，降低 GC 负担。
-
