这是我参与「第五届青训营 」伴学笔记创作活动的第 4 天
自动内存管理
基本概念
-
自动内存管理（垃圾回收）：由程序语言的运行时系统管理动态内存
- 避免手动内存管理，专注于实现业务逻辑
- 保证内存使用的正确性和安全性: double-free problem, use-after-free problem
-
三个任务
- 为新对象分配空间
- 找到存活对象
- 回收死亡对象的内存空间
-
相关概念
- Mutator: 业务线程，分配新对象，修改对象指向关系
- Collector: GC 线程，找到存活对象，回收死亡对象的内存空间
- Serial GC: 只有一个 collector
- Parallel GC: 支持多个 collectors 同时回收的 GC 算法
- Concurrent GC: mutator(s)和 collector(s) 可以同时执行
- Concurrent GC必须感知对象指向关系的改变
-
评价 GC 算法
- 安全性 (Safety): 不能回收存活的对象 基本要求
- GC 时间吞吐率(Throughput): 1 -花在 GC 上的时间/程序执行总时间
- 暂停时间 (Pause time): stop the world (STW) 业务是否感知
- 内存开销 (Space overhead) GC 元数据开销
-
自动内存管理方式
- 追踪垃圾回收 (Tracing garbage collection)
- 引用计数 (Reference counting)
追踪垃圾回收 (Tracing garbage collection)
-
被回收的条件:不可达对象
-
过程
- 标记根对象(GC roots):静态变量、全局变量、常量、线程栈等
- 标记:找到所有可达对象
- 求指针指向关系的传递闭包: 从根对象出发，找到所有可达对象
- 清理: 回收所有不可达对象占据的内存空间
- 将存活对象复制到另外的内存空间(Copying GC)
- 将死亡对象的内存标记为“可分配“(Mark-sweep GC)
- 移动并整理存活对象(Mark-compact GC)
- 根据对象的生命周期，使用不同的标记和清理策略
-
Copying GC：将存活对象从一块内存空间复制到另外一块内存空间，原先的空间可以直接进行对象分配
- Mark-sweep GC: 将死亡对象所在内存块标记为可分配，使用 free list 管理可分配的空间
- Mark-compact GC: 将存活对象复制到同一块内存区域的开头
- 分代 GC (Generational GC)
- 分代假说(Generational hypothesis): most objects die young
- Intuition: 很多对象在分配出来后很快就不再使用了
- 每个对象都有年龄:经历过 GC 的次数
- 目的: 对年轻和老年的对象，制定不同的 GC 策略，降低整体内存管理的开销
- 不同年龄的对象处于 heap 的不同区域
- 年轻代(Young generation)
- 常规的对象分配
- 由于存活对象很少，可以采用 copying collection
- GC 吞吐率很高
- 老年代(Old generation)
- 对象趋向于一直活着，反复复制开销较大
- 可以采用 mark-sweep collection
引用计数
- 每个对象都有一个与之关联的引用数目
- 对象存活的条件:当且仅当引用数大于 0
- 优点
- 内存管理的操作被平摊到程序运行中: 指针传递的过程中进行引用计数的增减。
- 不需要了解 runtime 的细节: 因为不需要标记 GC roots，因此不需要知道哪里是全局变量、线程栈等
- 缺点
- 开销大，因为对象可能会被多线程访问，对引用计数的修改需要原子操作保证对引用计数原子性和可见性
- 无法回收环形数据结构---可以使用week reference
- 每个对象都引入额外存储空间存储引用计数
- 虽然引用计数的操作被平摊到程序运行过程中，但是回收大的数据结构依然可能引发暂停
Go 内存管理及优化
Go 内存分配
分块
- 目标: 为对象在 heap 上分配内存
- 提前将内存分块
- 调用系统调用 mmap() 向 OS 申请一大块内存，例如 4 MB
- 先将内存划分成大块，例如 8 KB，称作 mspan
- 再将大块继续划分成特定大小的小块，用于对象分配
- noscan mspan:分配不包含指针的对象一- GC 不需要扫描
- scan mspan:分配包含指针的对象 - GC 需要扫描
- 对象分配: 根据对象的大小，选择最合适的块返回
缓存
- TCMalloc: thread caching
- 每个 p 包含一个 mcache 用于快速分配，用于为绑定于 p上的 g 分配对象
- mcache 管理一组 mspan
- 当 mcache 中的 mspan 分配完毕，向 mcentral 申请带有未分配块的 mspan
- 当 mspan 中没有分配的对象，mspan 会被缓存在mcentral 中，而不是立刻释放并归还给 OS
内存管理优化
- 对象分配是非常高频的操作: 每秒分配 GB 级别的内存
- 小对象占比较高
- Go 内存分配比较耗时
- 分配路径长: g -> m -> p -> mcache -> mspan ->memory block -> return pointer
- pprof: 对象分配的函数是最频繁调用的函数之一
字节的优化方案
编译器和静态分析
- 重要的系统软件
- 识别符合语法和非法的程序
- 生成正确且高效的代码
- 分析部分 (前端 front end)
- 词法分析，生成词素(lexeme)
- 语法分析，生成语法树
- 语义分析，收集类型信息，进行语义检查
- 中间代码生成，生成 intermediate representation (IR)
- 综合部分 (后端 back end)
- 代码优化，机器无关优化，生成优化后的IR
- 代码生成，生成目标代码
