Go 语言内存管理详解｜青训营笔记
这是我参与「第五届青训营 」伴学笔记创作活动的第 5 天
一、本堂课重点内容：
- 自动内存管理——自动内存管理的基本概念
- Go内存管理及优化——Go内存管理的性能问题以及优化思路
- 编译器和静态分析——编译原理和机器无关优化
- Go编译器优化——Go编译器优化思路
二、详细知识点介绍：
自动内存管理
- 动态内存：程序在运行时根据需求动态分配的内存:malloc ()
- 自动内存管理(垃圾回收)∶由程序语言的运行时系统管理动态内存
避免手动内存管理，专注于实现业务逻辑
保证内存使用的正确性和安全性: double-free problem, use-after-free problem - 三个任务：为新对象分配空间，找到存活对象，回收死亡对象的内存空间
- 相关概念
Mutator: 业务线程，分配新对象，修改对象指向关系
Collector: GC 线程，找到存活对象，回收死亡对象的内存空间 Serial GC: 只有一个 collector Parallel GC: 并行 GC，支持多个 collectors 同时回收的 GC 算法 Concurrent GC: 并发 GC，支持 mutator(s) 和 collector(s) 同时执行的 GC 算法，Collectors 必须感知对象指向关系的改变
追踪垃圾回收
- 对象被回收的条件:指针指向关系不可达的对象
标记根对象，如静态变量、全局变量、常量、线程栈等
标记找到可达对象，求指针指向关系的传递闭包，从根对象出发，找到所有可达对象
清理所有不可达对象，将存活对象复制到另外的内存空间(Copying GC)，将死亡对象的内存标记为“可分配“(Mark-sweep GC)，移动并整理存活对象(Mark-compact GC)
要根据对象的生命周期，使用不同的标记和清理策略
分代GC(Generational GC)
- 分代假说(Generational hypothesis): most objects die young
Intuition:很多对象在分配出来后很快就不再使用了
每个对象都有年龄:经历过GC的次数
目的:对年轻和老年的对象，制定不同的GC策略，降低整体内存管理的开销
不同年龄的对象处于heap的不同区域
- 年轻代(Young generation)
常规的对象分配，由于存活对象很少，可以采用copying collection，GC吞吐率很高 - 老年代(Old generation)
对象趋向于一直活着，反复复制开销较大，可以采用mark-sweep collection
引用技术
- 每个对象都有一个与之关联的引用数目
- 对象存活的条件:当且仅当引用数大于0优点
- 优点：
内存管理的操作被平摊到程序执行过程中，内存管理不需要了解runtime的实现细节:C++智能指针(smart pointer) - 缺点：
维护引用计数的开销较大:通过原子操作保证对引用计数操作的原子性和可见性
无法回收环形数据结构——weak reference
内存开销:每个对象都引入的额外内存空间存储引用数目
回收内存时依然可能引发暂停
Go内存管理及优化
Go内存分配——分块
- 目标:为对象在heap 上分配内存
- 提前将内存分块
调用系统调用mmap ()向OS申请一大块内存，例如4 MB
先将内存划分成大块，例如8 KB，称作mspan
再将大块继续划分成特定大小的小块,用于对象分配
noscan mspan:分配不包含指针的对象——GC不需要扫描
scan mspan:分配包含指针的对象——GC需要扫描 - 对象分配:根据对象的大小，选择最合适的块返回
Go内存分配——缓存
- TCMalloc: thread caching
- 每个p包含一个mcache 用于快速分配，用于为绑定于p上的g 分配对象
- mcache管埋一组mspan
- 当mcache 中的mspan分配完毕，向mcentral申请带有未分配块的mspan
- 当mspan中没有分配的对象，mspan会被缓存在mcentral 中，而不是立刻释放并归还给os
Go内存管理优化
- 对象分配是非常高频的操作:每秒分配GB级别的内存
- 小对象占比较高
- Go内存分配比较耗时
分配路径长: g -> m -> p -> mcache -> mspan -> memory block -> return pointer
pprof:对象分配的函数是最频繁调用的函数之一
Balanced GC
- 每个g都绑定一大块内存(1KB)，称作goroutine allocation buffer (GAB)
- GAB用于noscan类型的小对象分配:<128 B
- 使用三个指针维护GAB: base, end,top
- Bump pointer(指针碰撞)风格对象分配，无须和其他分配请求互斥，分配动作简单高效
- GAB对于Go内存管理来说是一个大对象
本质：将多个小对象的分配合并成一次大对象的分配
问题：即GAB的对象分配方式会导致内存被延迟释放 方案：移动GAB中存活的对象，当GAB总大小超过一定阈值时，将GAB中存活的对象复制到另外分配的GAB中，原先的GAB可以释放，避免内存泄漏，其本质是用copying GC的算法管理小对象
根据对象的生命周期，使用不同的标记和清理策略
编译器和静态分析
编译器的结构
- 重要的系统软件：识别符合语法和非法的程序，生成正确且高效的代码
- 分析部分(前端front end)：
词法分析，生成词素(lexeme)
语法分析，生成语法树
语义分析，收集类型信息，进行语义检查
中间代码生成，生成intermediate representation (IR) - 综合部分(后端back end)
代码优化，机器无关优化，生成优化后的IR
代码生成，生成目标代码
静态分析
- 静态分析：不执行代码，推导程序的行为，分析程序的性质。
- 控制流：程序的执行流程
- 数据流：数据在控制流上的传递
- 通过分析控制流和数据流，我们可以知道更多关于程序的性质(properties) ，可以帮助我们进行编译优化。
- Intra-procedural analysis: 函数内分析：在函数内进行控制流和数据流的分析
- Inter-procedural analysis: 函数间分析：除了函数内的分析，还需要考虑跨函数的数据流和控制流，例如参数传递，函数返回值等
Go编译器优化
- 目的：用户无感知，重新编译即可获得性能收益，通用的优化手段
- 现状：采用的优化较少，追求编译时间短，因此没有进行复杂的代码分析和优化
- 思路：面向后端长期执行的任务，用适当增加编译时间换取更高性能的代码
函数内联
- 定义：将被调用函数的函数体(callee)的副本替换到调用位置(caller)上，同时重写代码以反映参数的绑定
- 优点
- 消除函数调用开销，例如传递参数、保存寄存器等
- 将过程间分析转化为过程内分析，帮助其他优化，例如逃逸分析
- 缺点
- 函数体变大，instruction cache (icache)不友好
- 编译生成的 Go 镜像文件变大
- 函数内联在大多数情况下是正向优化，即多内联，会提升性能
- 采取一定的策略决定是否内联
- 调用和被调用函数的规模等
- Go 内联的限制
- 语言特性：interface, defer 等等，限制了内联优化
- 内联策略非常保守
- Beast mode方式
- 修改了内联策略，让更多函数被内联
- 增加了其他优化的机会：逃逸分析
- 开销
- Go 镜像大小略有增加，~10%
- 编译时间增加
- 运行时栈扩展开销增加
逃逸分析
- 定义：分析代码中指针的动态作用域，即指针在何处可以被访问
- 大致思路
- 从对象分配处出发，沿着控制流，观察数据流。
- 若发现指针 p 在当前作用域 s:
- 作为参数传递给其他函数；
- 传递给全局变量；
- 传递给其他的 goroutine;
- 传递给已逃逸的指针指向的对象；
- 则指针 p 逃逸出 s，反之则没有逃逸出 s.
- Beast mode：函数内联拓展了函数边界，更多对象不逃逸
- 优化：未逃逸出当前函数的指针指向的对象可以在栈上分配
- 对象在栈上分配和回收很快：移动 sp 即可完成内存的分配和回收；
- 减少在堆（heap）上分配对象，降低 GC 负担。
三、课后个人总结：
- 碍于时间篇幅，本篇笔记还待后续完善
