Go语言内存管理 | 青训营笔记

110 阅读4分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 9 天

自动内存管理

  1. 动态内存
    • 程序在运行时根据需求动态分配(malloc())的内存

C语言中是开发者管理内存分配,但是Go中是自动进行内存申请与释放

  1. 自动内存管理(垃圾回收 GC)

    • 避免手动内存管理,专注于实现业务逻辑
    • 保证内存使用的正确性和安全性
  2. 三个任务

    • 为新对象分配空间
    • 找到存活对象
    • 回收死亡对象的内存空间

其中找到存活对象的目的是方便区分与回收死亡对象。因为存活对象之间有某种关联,标记后可以很方便的回收死亡对象

  1. 一些概念

    • Mutator: 业务线程,分配新对象,修改对象指向关系
    • Collector: GC 线程,找到存活对象,回收死亡对象的内存空间 重要的是业务线程和垃圾回收线程,一个分配新对象,一个找到存活对象并回收死亡对象的内存空间

    Serial GC: 只有一个 collector
    Parallel GC: 并行 GC,支持多个 collectors 同时回收的 GC 算法
    Concurrent GC: 并发 GC,支持 mutator(s) 和 collector(s) 同时执行的 GC 算法

追踪垃圾回收(Tracing garbage collection)

被回收的条件:判断是否为不可达对象

  • 先标记根对象(GC roots)(一些程序执行过程中不会被回收的对象,例如静态变量、全局变量、常量等等)

  • 标记:然后从根对象出发,找到所有可达对象(根据指针的关系)

    • 即找到存活对象
  • 清理:回收不可达对象的内存空间,有一下三种不同的方式

    • Copying GC: 将存活对象从一块内存空间复制到另外一块内存空间,原先的空间可以直接进行对象分配
    • Mark-sweep GC:将死亡对象所在内存块标记为可分配,使用 free list 管理可分配的空间
    • Mark-compact GC:将存活对象复制到同一块内存区域的开头

引用计数

对象存活的条件:当且仅当引用数大于 0

每一个对象都有一个与之关联的引用数目

  1. 优点

    • 内存管理的操作被平摊到程序运行中:指针传递的过程中进行引用计数的增减
    • 不需要了解 runtime 的细节:因为不需要标记 GC roots,因此不需要知道哪里是全局变量、线程栈等
  2. 缺点

    • 开销大,因为对象可能会被多线程访问,对引用计数的修改需要原子操作保证原子性和可见性
    • 无法回收环形数据结构
    • 每个对象都引入额外存储空间存储引用计数
    • 虽然引用计数的操作被平摊到程序运行过程中,但是回收大的数据结构依然可能引发暂停

GO内存管理

为对象在堆(heap)上分配内存 —— 提前将内存分块

  • 调用系统调用 mmap() 向 OS 申请一大块内存,例如 4 MB
  • 先将内存划分成大块,例如 8 KB,称作 mspan
  • 再将大块继续划分成特定大小的小块,用于对象分配
  • noscan mspan: 分配不包含指针的对象 —— GC 不需要扫描
  • scan mspan: 分配包含指针的对象 —— GC 需要扫描

  • 对象分配:根据对象的大小,选择最合适的块返回

内存缓存

Go 内存管理构成了多级缓存机制,从 OS 分配得的内存被内存管理回收后,也不会立刻归还给 OS,而是在 Go runtime 内部先缓存起来,从而避免频繁向 OS 申请内存。内存分配的路线图如下。

分块缓存都很常见,不同系统中的设计有异曲同工之妙

Go内存管理的问题

  1. 对象分配操作高频,每秒分配GB级别的内存
  2. 占用很多CPU
  3. 小对象分配占大多数 —— 优化小对象分配是关键

字节跳动处理小对象分配占比大的优化方案

Balanced GC:本质上是将多次小对象的分配合并为一次大对象的分配


参考资料

性能优化及自动内存管理 - 掘金 (juejin.cn)

【后端专场 学习资料二】第五届字节跳动青训营 - 掘金 (juejin.cn)