这是我参与「第三届青训营-后端场」笔记创作活动的的第4篇笔记。
性能优化的层面
软件的结构：业务代码-SDK-基础库-语言运行时-OS
- 业务层优化
- 针对特定场景，具体问题，具体分析
- 容易获得较大性能收益
- 语言运行时优化
- 解决更通用的性能问题
- 考虑更多场景
- Tradeoffs
方法：数据驱动
- 自动化性能分析工具 —— pprof
- 依靠数据而非猜测
- 首先优化最大瓶颈
软件质量
- 保证接口稳定的前提下改进具体实现
- 测试驱动
- 给用户提供清晰的文档
- 隔离性，通过控制选项是否开启优化
- 可观测性，必要的日志输出
自动内存管理（垃圾回收）
对象：动态内存
目标：由程序语言的运行时系统管理动态内存
- 避免手动内存管理
- 保证内存使用的正确性和安全性。问题如double-free, use-after-free
任务
- 为新对象分配空间
- 找到存活对象
- 回收死亡对象的内存空间
相关概念
- Mutator: 业务线程，分配新对象，修改对象指向关系
- Collector: GC 线程，找到存活对象，回收死亡对象的内存空间
- Serial GC: 暂停mutator，只有一个 collector
- Parallel GC: 暂停mutator，并行 GC，支持多个 collectors 同时回收的 GC 算法
- Concurrent GC: 并发 GC，支持 mutator(s) 和 collector(s) 同时执行的 GC 算法
- Collectors 必须感知对象指向关系的改变。
- 评价GC算法
- 安全性：不能回收存活的对象
- 吞吐率：
- 暂停时间：stop the world(STW)
- 内存开销
两种常见的GC技术：
1 追踪垃圾回收(Tracing garbage collection)
- 被回收的条件：不可达对象
- 过程：
- 标记根对象 (GC roots): 静态变量、全局变量、常量、线程栈等
- 标记：找到所有可达对象
- 清理：回收所有不可达对象占据的内存空间。
- Copying GC: 将存活对象从一块内存空间复制到另外一块内存空间，原先的空间可以直接进行对象分配
- Mark-sweep GC: 将死亡对象所在内存块标记为可分配，使用 free list 管理可分配的空间
- Mark-compact GC: 将存活对象复制到同一块内存区域的开头
- 选择依据：根据对象的生命周期，使用不同的标记和清理策略。
实例：分代GC(Generational GC)
- 分代假说：most objects die young。（很多对象分配出来之后很快就不再使用了）
- 每个对象的年龄：经历过GC的次数
- 目的： 针对年轻/老年的对象，指定不同的GC策略，降低整体内存管理开销
- 年轻代：
- 常规的对象分配
- 存活对象较少，可以采用 copying GC
- GC吞吐率很高
- 老年代：
- 对象趋向于一直活着，反复复制开销较大。可以采用 mark-sweep GC
2 引用计数(Reference counting)
- 每个对象都有一个与之关联的引用数目
- 对象存活的条件：当且仅当引用数大于 0
- 优点
- 内存管理的操作被平摊到程序运行中：指针传递的过程中进行引用计数的增减
- 不需要了解 runtime 的细节：因为不需要标记 GC roots，因此不需要知道哪里是全局变量、线程栈等。可以通过额外的库提供，如C++的智能指针。
- 缺点
- 维护引用计数开销大，因为对象可能会被多线程访问，对引用计数的修改需要原子操作保证原子性和可见性
- 无法回收环形数据结构（解决方法如weak reference）
- 每个对象都引入额外存储空间存储引用计数
- 虽然引用计数的操作被平摊到程序运行过程中，但是回收大的数据结构依然可能引发暂停
Go 内存管理及优化
Go 内存分配
目标：为对象在 heap 上分配内存
做法：提前将内存分块，根据对象的大小，选择最合适的块返回
- 调用系统调用 mmap() 向 OS 申请一大块内存，例如 4 MB
- 先将内存划分成大块，例如 8 KB，称作 mspan
- noscan mspan: 分配不包含指针的对象 —— GC 不需要扫描
- scan mspan: 分配包含指针的对象 —— GC 需要扫描
- 再将大块继续划分成特定大小的小块，用于对象分配
缓存：
- 借鉴TCMalloc：thread caching
- 使用 mcache 管理一组 mspan
- mcache 中的 mspan 分配完毕，向 mcentral 申请带有未分配块的 mspan
- 当 mspan 中没有分配的对象，mspan会被缓存在mcentral中，不会立即释放归还给OS
Go 内存管理优化
- 对象分配非常高频
- 小对象占比高
- Go 内存分配比较耗时，分配路径长：g->m->p->mcache->mspan->memory block->return pointer
优化方案：Balanced GC
- 每个 g 会附加一个较大的 allocation buffer (GAB，例如 1 KB) 用来分配小于 128 B 的 noscan 小对象。本质上通过将多个小对象的分配合并成一次大对象的分配
- 处理GAB导致的延迟释放问题：使用 copying GC
编译器和静态分析
编译器结构
- 前端（分析部分）
- 词法分析，生成词素
- 语法分析，生成语法树
- 语义分析，收集类型信息，进行语义检查
- 中间代码生成，生成IR(intermediate representation)，
- 后端（综合部分）
- 代码优化，机器无关优化，生成优化后的IR
- 代码生成，生成目标代码
静态分析：不执行程序，推导程序的行为，分析程序的性质，根据程序的性质优化代码
- 控制流分析：程序执行的流程
- 数据流分析：数据在控制流上的传递
- 过程内分析
- 过程间分析
Go编译器优化
- 现状：编译时间短，没有复杂的代码分析和优化
优化方案：Beast mode
- 函数内联(inlining)：将被调用函数的函数体的副本替换到调用位置上，同时重写代码以反映参数的绑定
- 优点：消除调用开销；将过程间分析的问题转换为过程内分析，帮助其他分析
- 缺点：函数体变大；编译生成的 Go 镜像文件变大
- 函数内联在大多数情况下是正向优化，即多内联，会提升性能
- 逃逸分析：分析代码中指针的动态作用域，即指针在何处可以被访问
- 从对象分配处出发，沿着控制流，观察数据流。若发现指针 p 在当前作用域 s:
- 作为参数传递给其他函数；
- 传递给全局变量；
- 传递给其他的 goroutine;
- 传递给已逃逸的指针指向的对象；
- 则指针 p 逃逸出 s，反之则没有逃逸出 s.
- 函数内联拓展了函数边界，更多对象不逃逸
- 未逃逸出当前函数的指针指向的对象可以在栈上分配，对象在栈上分配和回收很快
- 减少在堆上分配对象，降低 GC 负担
- 从对象分配处出发，沿着控制流，观察数据流。若发现指针 p 在当前作用域 s:
