高性能Go优化与内存管理 ｜ 青训营笔记

xYx
110 阅读5分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 5 天

1.主要内容

  1. Go内存管理以及优化
  2. 自动内存管理
  3. 编译器和静态分析
  4. 编译器的优化

2.本节详细内容

自动内存管理（垃圾回收）

  • 保证内存使用的正确性和安全性
  • 垃圾回收的三个任务：
  1. 为新对象分配空间
  2. 找到存活对象
  3. 回收死亡对象的内存空间

基本概念

Mutator: 业务线程，分配新对象，修改对象指向关系 Collector: GC 线程，找到存活对象，回收死亡对象的内存空间 Collectors必须感知对象指向关系的改变,已标记的对象指向的对象必须被标记

Serial GC: 只有一个 collector image.png

Parallel GC: 并行 GC，支持多个 collectors 同时回收的 GC 算法
image.png

Concurrent GC: 并发 GC，支持 mutator(s) 和 collector(s) 同时执行的 GC 算法

image.png

追踪垃圾回收

对象被回收的条件：指针指向关系不可达的对象

过程

  • 标记根对象 (GC roots): 静态变量、全局变量、常量、线程栈等
  • 标记：找到所有可达对象：求指针指向关系的传递闭包，从根对象出发，找到所有可达对象
  • 清理：回收所有不可达对象占据的内存空间：

Copying GC: 将存活对象从一块内存空间复制到另外一块内存空间，原先的空间可以直接进行对象分配
image.png

Mark-sweep GC: 将死亡对象所在内存块标记为可分配，使用 free list 管理可分配的空间 image.png

Mark-compact GC: 将存活对象复制到同一块内存区域的开头 image.png

分代GC

  • 经历过的GC次数就是对象的年龄
  • 对年轻和老年的对象，制定不同的GC策略，降低整体内存管理的开销
  • 年轻代：常规的对象分配，由于存活对象很少，采用Copying GC，GC吞吐率很高
  • 老年代：对象趋向于一直活着，反复复制开销较大，采用Mark-sweep GC

引用计数

  • 每个对象都有一个与之关联的引用数目
  • 对象存活的条件：当且仅当引用数大于0
  • 优点：
  1. 内存管理的操作被平摊到程序运行中：指针传递的过程中进行引用计数的增减
  2. 不需要了解 runtime 的细节：因为不需要标记 GC roots，因此不需要知道哪里是全局变量、线程栈等
  • 缺点
  1. 开销大，因为对象可能会被多线程访问，对引用计数的修改需要原子操作保证原子性和可见性
  2. 无法回收环形数据结构 —— weak reference
  3. 每个对象都引入额外存储空间存储引用计数
  4. 虽然引用计数的操作被平摊到程序运行过程中，但是回收大的数据结构依然可能引发暂停

Go内存管理及优化

Go的内存分配

  • 目标：为对象在heap上分配内存
  • 提前将内存分块
  • 根据对象的大小，选择最适合的块返回
  • Go 内存管理构成了多级缓存机制，从 OS 分配得的内存被内存管理回收后，也不会立刻归还给 OS，而是在 Go runtime 内部先缓存起来，从而避免频繁向 OS 申请内存

Go内存管理优化

  • mspan, mcache 和 mcentral 构成了内存管理的多级缓存机制
  • 对象分配是非常高频的操作：每秒分配 GB 级别的内存
  • 小对象分配占大多数
  • 优化小对象分配是关键

字节跳动的优化方案

  • Balanced GC
  • 本质为将多个小对象的分配合并成一次大对象的分配
  • 因此，当 GAB 中哪怕只有一个小对象存活时，Go runtime 也会认为整个大对象（即 GAB）存活。为此，balanced GC 会根据 GC 策略，将 GAB 中存活的对象移动到另外的 GAB 中，从而压缩并清理 GAB 的内存空间，原先的 GAB 空间由于不再有存活对象，可以全部释放

image.png

  • Balanced GC 只负责 noscan 对象的分配和移动，对象的标记和回收依然依赖 Go GC 本身，并和 Go GC 保持兼容

编译器和静态分析

结构

image.png

静态分析

  • 不执行程序代码，推导程序的行为，分析程序的性质
  • 控制流：程序的执行流程
  • 数据流：数据在控制流上的传递
  • 通过分析控制流和数据流，我们可以知道更多关于程序的性质(properties) ，这些事实可以帮助我们做编译优化。
  • 函数内分析和函数间分析

Go编译器优化

  • 用户无感知，重新编译即可获得性能收益，而且通用
  • 面向后端长期执行的任务
  • 用增加编译时间换取更高性能的代码

函数内联

  • 将被调用函数的函数体的副本替换到调用位置上，同时重写代码以反映参数的绑定
  • 优点：消除调用开销，将过程间分析的问题转换为过程内分析，帮助其他分析
  • 缺点：函数体积变大，编译生成的文件变大
  • 大部分时间内联是正向优化
  • Go的函数内联受到的限制较多

字节的优化

  • 调整里函数内联的策略，使更多函数内联
  • 降低函数调用的开销
  • 增加其他优化机会：逃逸分析

逃逸分析

  • 分析代码中指针的动态作用域，即指针在何处可以被访问
  • 优化：未逃逸出当前函数的指针指向的对象可以在栈上分配，减少在heap上的分配，降低GC负担

3.实践

  • Balanced GC 优化对象分配
  • Beast Mode 提升代码性能

4.课后总结

  • 分析整体的思路，可以用在其他语言
  • 优化是建立在数据上的，二次强调
  • 内存缓存需要再看
  • 可以去看看如何评价GC算法

5.引用

字节内部课：高性能Go语言发行版优化与落地实践
稀土掘金-后端学习资料

avatar
文章
阅读
粉丝