GO后端开发|青训营笔记

80 阅读3分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第4天,在过去几天,我学习了go语言的内存管理和编译器优化。

自动内存管理

基本概念

  • 自动内存管理:由程序语言的运行时系统管理动态内存

  • 避免手动内存管理,专注于实现业务逻辑

  • 保证内存使用的正确性安全性: double-free problem, use-after-free problem

  • 三个任务

    • 为新对象分配空间
    • 找到存活对象
    • 回收死亡对象的内存空间
  • 概念

    Mutator: 业务线程,分配新对象,修改对象指向关系

    Collector: GC 线程,找到存活对象,回收死亡对象的内存空间

追踪垃圾回收

Tracing garbage collection: 追踪垃圾回收

  • 被回收的条件:不可达对象

  • 过程

    • 标记根对象 (GC roots): 静态变量、全局变量、常量、线程栈等

    • 标记:找到所有可达对象

    • 清理:回收所有不可达对象占据的内存空间

      • Copying GC: 将存活对象从一块内存空间复制到另外一块内存空间,原先的空间可以直接进行对象分配
      • image.png
      • Mark-sweep GC: 将死亡对象所在内存块标记为可分配,使用 free list 管理可分配的空间
      • image.png
      • Mark-compact GC: 将存活对象复制到同一块内存区域的开头
      • image.png

引用计数

  • 每个对象都有一个与之关联的引用数目

  • 对象存活的条件:当且仅当引用数大于 0

  • 优点

    • 内存管理的操作被平摊到程序运行中:指针传递的过程中进行引用计数的增减
    • 不需要了解 runtime 的细节:因为不需要标记 GC roots,因此不需要知道哪里是全局变量、线程栈等
  • 缺点

    • 开销大,因为对象可能会被多线程访问,对引用计数的修改需要原子****操作保证原子性和可见性
    • 无法回收环形数据结构
    • 每个对象都引入额外存储空间存储引用计数
    • 虽然引用计数的操作被平摊到程序运行过程中,但是回收大的数据结构依然可能引发暂停

Go 内存管理及优化

内存分配-缓存

  • TCMalloc: TC is short for thread caching

  • 目标:为对象在 heap 上分配内存

  • 提前将内存分块

    • 调用系统调用 mmap() 向 OS 申请一大块内存,例如 4 MB
    • 先将内存划分成大块,例如 8 KB,称作 mspan
    • 再将大块继续划分成特定大小的小块,用于对象分配
    • noscan mspan: 分配不包含指针的对象 —— GC 不需要扫描
    • scan mspan: 分配包含指针的对象 —— GC 需要扫描
  • 对象分配:根据对象的大小,选择最合适的块返回

字节跳动的优化方案

  • Balanced GC
  • 核心:将 noscan 对象在 per-g allocation buffer (GAB) 上分配,并使用移动对象 GC 管理这部分内存,提高对象分配和回收效率

  • 每个 g 会附加一个较大的 allocation buffer (例如 1 KB) 用来分配小于 128 B 的 noscan 小对象

  • 分配对象时,根据对象大小移动 top 指针并返回,快速完成一次对象分配

  • 同原先调用 mallocgc() 进行对象分配的方式相比,balanced GC 缩短了对象分配的路径,减少了对象分配执行的指令数目,降低 CPU 使用