Go 语言内存管理与优化| 青训营笔记

64 阅读2分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 8 天

Go 内存管理

  • TCMalloc: TC is short for thread caching

  • 目标:为对象在 heap 上分配内存

  • 提前将内存分块

    • 调用系统调用 mmap() 向 OS 申请一大块内存,例如 4 MB
    • 先将内存划分成大块,例如 8 KB,称作 mspan
    • 再将大块继续划分成特定大小的小块,用于对象分配
    • noscan mspan: 分配不包含指针的对象 —— GC 不需要扫描
    • scan mspan: 分配包含指针的对象 —— GC 需要扫描
  • 对象分配:根据对象的大小,选择最合适的块返回

  • 内存缓存

    • Go 内存管理构成了多级缓存机制,从 OS 分配得的内存被内存管理回收后,也不会立刻归还给 OS,而是在 Go runtime 内部先缓存起来,从而避免频繁向 OS 申请内存。

Go 内存管理的问题

mspan, mcache 和 mcentral 构成了内存管理的多级缓存机制。

  • 对象分配是非常高频的操作:每秒分配 GB 级别的内存
  • 线上 profiling 发现,Go 的内存分配占用很多 CPU
  • 小对象分配占大多数,绝大多数对象都小于 80 B。因此优化小对象分配是关键

GO内存管理优化方案

  • Balanced GC

  • 核心:将 noscan 对象在 per-g allocation buffer (GAB) 上分配,并使用移动对象 GC 管理这部分内存,提高对象分配和回收效率

  • 每个 g 会附加一个较大的 allocation buffer (例如 1 KB) 用来分配小于 128 B 的 noscan 小对象

  • bump pointer 风格的对象分配。示意如下。

    if g.ab.end - g.ab.top < size {
    // Allocate a new allocation buffer 
    } 
    addr := g.ab.top 
    g.ab.top += size 
    return addr
    
  • 分配对象时,根据对象大小移动 top 指针并返回,快速完成一次对象分配

  • 同原先调用 mallocgc() 进行对象分配的方式相比,balanced GC 缩短了对象分配的路径,减少了对象分配执行的指令数目,降低 CPU 使用

  • 从 Go runtime 内存管理模块的角度看,一个 allocation buffer 其实是一个大对象。本质上 balanced GC 是将多次小对象的分配合并成一次大对象的分配。因此,当 GAB 中哪怕只有一个小对象存活时,Go runtime 也会认为整个大对象(即 GAB)存活。为此,balanced GC 会根据 GC 策略,将 GAB 中存活的对象移动到另外的 GAB 中,从而压缩并清理 GAB 的内存空间,原先的 GAB 空间由于不再有存活对象,可以全部释放

  • Balanced GC 会将 GAB 中存活的对象移动到下面的 GAB 中,这样原先的两个 GABs 就可以被释放,压缩并清理 GAB 的内存空间。

  • Balanced GC 只负责 noscan 对象的分配和移动,对象的标记和回收依然依赖 Go GC 本身,并和 Go GC 保持兼容。