这是我参与「第五届青训营 」笔记创作活动的第4天
Go 语言内存管理详解
一、本堂课重点内容：
本堂课的知识要点有哪些？
- 追求极致性能
- 性能优化是什么
- 为什么要做性能优化7
- 自动内存管理
- Go内存管理及优化
- 编译器和静态分析
- Go编译器优化
二、详细知识点介绍：
本堂课介绍了哪些知识点？
- 业务层优化
- 针对特定场景，具体问题具体分析
- 容易获得较大的兴能收益
- 语言运行时优化
- 解决更通用的性能问题
- 考虑更多场景
- Tradeoffs
- 数据驱动
- 自动化性能分析工具————pprof
- 依赖数据而非猜测
- 首先优化最大瓶颈
- 自动内存管理
- 背景知识
- 动态内存，程序根据需求动态分配内存：malloc()
- 自动内存回收：由程序语言运行时系统管理动态内存
- 避免手动内存管理，专注于业务逻辑
- 保证内存使用的正确性和安全性
- 三个任务
- 为新对象分配空间
- 找到存活对象
- 回收死亡对象的空间
- Tracing garbage collection
- 对象被回收的条件：指针指向关系不可达的对象
- 标记根对象
- 静态变量、全局变量、常量、线程栈等标记为存活
- 标记：找到可达对象
- 求指针所指向的传递闭包：从根对象出发，找到所有的可达对象
- 清理：所以不可达对象
- 将存活的对象复制到另外的内存空间（Copying GC）
- 将死亡的对象标记为“可分配”（Mark-sweeep GC）
- 移动并整理存活空间（Mark-compact GC）
- 根据对象的生命周期，使用不同的标记和清理策略
- Generation GC
- 分带假说（Generational hypothesis）:most objects die young
- Intuition：很多对象在分配出来之后就不再使用了
- 每个对象都有自己的年龄：经过GC的次数
- 目的：针对年轻的和年老的对象，制定不同的GC策略
- 不同年龄的对象处于heap的不同区域
- 年轻代（Young generation）
- 常规的对象分配
- 由于存活对象很少，可以采用copying collection
- GC 吞吐率很高
- 老年代（Old generation）
- 对象趋向于一直活着，反复复制开销较大
- 可以采用Mark-sweep collection
- Reference counting
- 每个对象都有一个与之关联的引用数目
- 对象存活的条件：当且仅当引用数大于0
- 优点
- 内存管理的操作被平摊到程序执行的过程中
- 内存管理不需要了解runtime的实现细节：C++智能指针（smart pointer）
- 缺点
- 维护引用计数开销较大：通过原子操作保证对引用计数操作的原子性和可见性
- 无法回收环形数据结构————weak reference
- 内存开销：每个对象都引用额外的内存空间储存引用数目
- 内存回收时依然可能引发暂停
- Go 内存分配————分块
- 目标：为对象在heap上分配内存
- 提前内存分块
- 调用系统调用mmap()向OS申请一大块内存，例如4MB
- 先将内存划分为大块，例如8KB，称为mspan
- 再将大块继续划分为特定大小的小块。用于对象分配
- noscan mspan:分配不包含指针的对象————GC不需要扫描
- scan mspan:分配包含指针的对象————GC 需要扫描
- 对象分配：根据对象的大小，选择最合适的块返回
- Go 内存分配————缓存
- 借鉴了TCMalloc:thread caching
- Go 内存管理优化
- 对象分配是非常高频的操作：每秒分配GC级别的内存
- 小对象占比比较高
- Go内存分配比较耗时
- 分配路径长：g-> m-> p-> mcache-> mspan-> memory block-> return pointer
- pprof:对象分配到函数是最频繁调用的函数之一
- 优化方案：Balanced GC
- 每个g都绑定一大块内存（1KB），称作goroutine allocation buffer(GAB)
- GAB 用于noscan类型的小对象分配：<128B
- 使用三个指针维护GAB:base,end,top
- Bump pointer(指针碰撞）风格对象分配
- 无序和其他分配互斥
- 分配动作简单高效
- GAB对于Go内存管理来说是一个大对象
- 本质:把多个小对象的分配合并成一次大对象的分配
- 问题：GAB的对象分配方式会导致内存被延迟释放
- 解决方案：移动GAB中存活的对象
- 当GAB总大小超过一定阈值时，将GAB中存活的对象复制到另外分配的GAB中
- 原先的GAB可以释放，避免内存泄漏
- 本质：用copying GC的算法管理小对象
- 背景知识
- 编译器的结构
- 重要的系统软件
- 识别语法和非法的程序
- 生成正确且高效的代码
- 分析部分（前端 front end）
- 语义分析，生成语素（lexeme）
- 语义分析，生成语法书
- 语义分析，收集类型信息，进行语义检查
- 中间代码生成，生成intermediate representation (IR)
- 综合部分（后端 back end）
- 代码优化，与机器无关，生成优化后的IR
- 代码生成，生成目标代码
- 重要的系统软件
- 静态分析
- 静态分析：不执行代码，推导程序的行为，分析程序的性质
- 控制流（Control flow）：程序执行的流程
- 数据流（Data flow）：数据在控制流上的传递
- 通过分析控制流和数据流，我们可以知道更多关于程序的性质（properties）
- 根据这些性质优化代码
- 过程内分析和过程间分析
- 过程内分析（intra-procedural analysis）
- 仅在函数内进行分析
- 过程间分析（inter-procedural analysis）
- 考虑函数调用时参数传递和返回值的数据流和控制流
- 为什么过程间分析是个问题
- 需要通过数据流和控制流分析同时工作
- 过程内分析（intra-procedural analysis）
- Go编译器优化
- 为什么做编译器优化
- 用户无感知，重新编译即可获得性能收益
- 通用性优化
- 现状
- 采用优化少
- 编译时间短，没有进行较复杂的代码分析和优化
- 编译有活动思路
- 场景：面向后端长期执行任务
- Tradeoff:用编译时间换取更高效的机器码
- Beast mode
- 函数内联
- 将被调用的函数体（callee）的副本替换到调用位置（caller）上，同时重写代码以反映参数的绑定
- 优点：消除调用开销，例如传递参数，保存寄存器等；将过程间分析转化为过程内分析，帮助其他优化，例如逃逸分析
- 缺点：函数体变大，instruction cache不友好
- 编译镜像变大
- 大多数情况下是正向优化
- 逃逸分析
- 默认栈大小调整
- 边界检查消除
- 循环展开
- 函数内联
- 为什么做编译器优化
三、实践练习例子：
- 有什么实践举例帮助理解知识点？
四、课后个人总结：
- 本章有什么知识点不容易掌握？
- 什么地方容易与其他内容混淆？
五、引用参考：**
- 推荐书籍 《THE GARBAGE COLLECTION HANDBOOK》
- Concurrently是什么意思？
- Mutator threads指的是什么
- 相关概念
- Mutator:业务线程，分配新对象，修改对象指向关系
- Collector:GC线程，找到存活对象，回收死亡对象的内存空间
- Serial GC：只有一个Collector
- Parallel GC：支持多个collectors同时回收的GC算法
- Concurrent GC:mutator(s)和Collector（s）可以同时执行
- Collectors 必须感知对象指向关系的改变
- 评价GC 算法
- 安全性（Safety）：不能回收存活的对象基本要求
- 吞吐率（Throughput）:1 - GC时间/程序执行总时间 花在GC上的时间
- 暂停时间（Pause time）：stop the world（STW） 业务是否感知
- 内存开销（Space overhead） GC 元数据开销
- 追踪垃圾回收（Tracing garbage collection）
- 引用计数（Reference counting）
