这是我参与「第五届青训营 」伴学笔记创作活动的第 4 天
一、本堂课重点内容：
-
自动内存管理
-
Go 内存管理及优化
-
编译器和静态分析
-
Go 编译器优化
二、详细知识点介绍：
自动内存管理
基本概念
- 自动内存管理：由程序语言的运行时系统管理动态内存
- 避免手动内存管理，专注于实现业务逻辑
- 保证内存使用的正确性和安全性: double-free problem, use-after-free problem
-
三个任务
- 为新对象分配空间
- 找到存活对象
- 回收死亡对象的内存空间
-
概念
Mutator: 业务线程，分配新对象，修改对象指向关系
Collector: GC 线程，找到存活对象，回收死亡对象的内存空间
Serial GC: 只有一个 collector
Parallel GC: 并行 GC，支持多个 collectors 同时回收的 GC 算法
Concurrent GC: 并发 GC，支持 mutator(s) 和 collector(s) 同时执行的 GC 算法
-
评价GC算法
-
安全性：不能回收存活的对象（基本要求）
-
吞吐率：1 - （GC时间）/程序执行总时间
-
暂停时间
-
内存开销
-
追踪垃圾回收
-
Tracing garbage collection: 追踪垃圾回收
-
被回收的条件：不可达对象
-
过程
-
标记根对象 (GC roots): 静态变量、全局变量、常量、线程栈等
-
标记：找到所有可达对象
-
清理：回收所有不可达对象占据的内存空间
- Copying GC: 将存活对象从一块内存空间复制到另外一块内存空间，原先的空间可以直接进行对象分配
- Mark-sweep GC: 将死亡对象所在内存块标记为可分配，使用 free list 管理可分配的空间
- Mark-compact GC: 将存活对象复制到同一块内存区域的开头
-
-
引用计数
- 每个对象都有一个与之关联的引用数目
- 对象存活的条件：当且仅当引用数大于 0
-
优点
- 内存管理的操作被平摊到程序运行中：指针传递的过程中进行引用计数的增减
- 不需要了解 runtime 的细节：因为不需要标记 GC roots，因此不需要知道哪里是全局变量、线程栈等
-
缺点
- 开销大，因为对象可能会被多线程访问，对引用计数的修改需要原子****操作保证原子性和可见性
- 无法回收环形数据结构
- 每个对象都引入额外存储空间存储引用计数
- 虽然引用计数的操作被平摊到程序运行过程中，但是回收大的数据结构依然可能引发暂停
Go 内存管理及优化
Go 内存管理
- TCMalloc: TC is short for thread caching
- 目标：为对象在 heap 上分配内存
-
提前将内存分块
- 调用系统调用 mmap() 向 OS 申请一大块内存，例如 4 MB
- 先将内存划分成大块，例如 8 KB，称作 mspan
- 再将大块继续划分成特定大小的小块，用于对象分配
- noscan mspan: 分配不包含指针的对象 —— GC 不需要扫描
- scan mspan: 分配包含指针的对象 —— GC 需要扫描
-
对象分配：根据对象的大小，选择最合适的块返回
-
内存缓存
- Go 内存管理构成了多级缓存机制，从 OS 分配得的内存被内存管理回收后，也不会立刻归还给 OS，而是在 Go runtime 内部先缓存起来，从而避免频繁向 OS 申请内存。
Go 内存管理的问题
mspan, mcache 和 mcentral 构成了内存管理的多级缓存机制。
- 对象分配是非常高频的操作：每秒分配 GB 级别的内存
- 小对象分配占大多数，因此优化小对象分配是关键。
编译器和静态分析
- 静态分析：不执行代码，推导程序的行为，分析程序的性质。
- 控制流：程序的执行流程
-
数据流：数据在控制流上的传递
-
通过分析控制流和数据流，我们可以知道更多关于程序的性质(properties) ，这些事实可以帮助我们做编译优化。
-
Intra-procedural analysis: 函数内分析：在函数内进行控制流和数据流的分析
- Inter-procedural analysis: 函数间分析：除了函数内的分析，还需要考虑跨函数的数据流和控制流，例如参数传递，函数返回值等
Go 编译器优化
目的
- 用户无感知，重新编译即可获得性能收益
- 通用的优化手段
现状
- 采用的优化较少
- 追求编译时间短，因此没有进行复杂的代码分析和优化
思路
- 面向后端长期执行的任务
- 用适当增加编译时间换取更高性能的代码
函数内联
- 定义：将被调用函数的函数体的副本替换到调用位置上，同时重写代码以反映参数的绑定
-
优点
- 消除调用开销
- 将过程间分析的问题转换为过程内分析，帮助其他分析
-
缺点
- 函数体变大
- 编译生成的 Go 镜像文件变大
- 函数内联在大多数情况下是正向优化，即多内联，会提升性能
-
采取一定的策略决定是否内联
- 调用和被调用函数的规模
-
Go 内联的限制
- 语言特性：interface, defer 等等，限制了内联优化
- 内联策略非常保守
-
字节跳动的优化方案
- 修改了内联策略，让更多函数被内联
- 增加了其他优化的机会：逃逸分析
-
开销
- Go 镜像大小略有增加
- 编译时间增加
- 运行时栈扩展开销增加
逃逸分析
- 定义：分析代码中指针的动态作用域，即指针在何处可以被访问
-
大致思路
-
从对象分配处出发，沿着控制流，观察数据流。若发现指针 p 在当前作用域 s:
- 作为参数传递给其他函数；
- 传递给全局变量；
- 传递给其他的 goroutine;
- 传递给已逃逸的指针指向的对象；
-
则指针 p 逃逸出 s，反之则没有逃逸出 s.
-
-
优化：未逃逸出当前函数的指针指向的对象可以在栈上分配
- 对象在栈上分配和回收很快：移动 sp 即可完成内存的分配和回收；
- 减少在堆上分配对象，降低 GC 负担。
三、课后个人总结：
-
业务层优化：针对特定场景，具体问题，具体分析；容易获得较大性能收益。
-
语言运行时优化：解决更通用的性能问题；考虑更多场景；Tradeoffs。
-
在进行运行时优化时需要保证接口稳定的前提下改进实现。
-
追踪垃圾回收：回收不可达对象
-
引用计数：每个对象都有一个与之关联的引用数目，当且仅当引用数大于 0 对象存活
- 优点
- 内存管理的操作被平摊到程序运行中：指针传递的过程中进行引用计数的增减
- 不需要了解 runtime 的细节：因为不需要标记 GC roots，因此不需要知道哪里是全局> 变量、线程栈等
- 缺点
- 开销大，因为对象可能会被多线程访问，对引用计数的修改需要原子****操作保证> 原子性和可见性
- 无法回收环形数据结构
- 每个对象都引入额外存储空间存储引用计数
- 虽然引用计数的操作被平摊到程序运行过程中，但是回收大的数据结构依然可能引发暂停
-
Generational GC（分代 GC）：Young generation（年轻代）、Old generation（老年代）
-
Go 内存管理
- 目标：为对象在 heap 上分配内存
- 提前将内存分块
- 对象分配：根据对象的大小，选择最合适的块返回
- 内存缓存
-
同原先调用
mallocgc()进行对象分配的方式相比，balanced GC 缩短了对象分配的路径，减少了对象分配执行的指令数目，降低 CPU 使用 -
为什么我们需要在编译器优化中进行静态代码分析？
- 通过分析控制流和数据流，我们可以知道更多关于程序的性质(properties) ，这些事实可以帮助我们做编译优化。
- 例如上面的程序。我们通过分析数据流和控制流，知道这个程序始终返回 4。编译器可以根据这个结果做出优化。
- Intra-procedural analysis: 函数内分析：在函数内进行控制流和数据流的分析
- Inter-procedural analysis: 函数间分析：除了函数内的分析，还需要考虑跨函数的数据流和控制流，例如参数传递，函数返回值等
- 函数内联：将被调用函数的函数体的副本替换到调用位置上，同时重写代码以反映参数的绑定
- 优点
- 消除调用开销
- 将过程间分析的问题转换为过程内分析，帮助其他分析
- 缺点
- 函数体变大
- 编译生成的 Go 镜像文件变大
- 逃逸分析：分析代码中指针的动态作用域，即指针在何处可以被访问。未逃逸出当前函数的指针指向的对象可以在栈上分配
