Go 语言内存管理详解| 青训营笔记

81 阅读4分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 5 天

之前我们学到了利用pprof进行检测整个工程的性能瓶颈,定位最耗时的任务。针对这些瓶颈进行性能优化从而提高处理能力减少不必要的消耗。

性能优化可以从三个方面进行优化

  • 业务层优化

    • 针对特定场景,具体问题,具体分析。 针对具体业务很容易得到较大的收益
  • 语言运行时优化

    • 解决更通用的性能问题,需要考虑更多场景。通用的优化性能并不会提高太多但是在整个项目,性能提升还是十分可观的
  • 数据驱动

    • 自动化性能分析工具 —— pprof,依靠数据而非猜测
自动内存管理

自动内存管理:由程序语言的运行时系统管理动态内存,避免手动内存管理,专注于实现业务逻辑

  • 内存管理工作

    • 为新对象分配空间
    • 找到存活对象
    • 回收死亡对象的内存空间

Mutator: 业务线程,分配新对象,修改对象指向关系

Collector: GC 线程,找到存活对象,回收死亡对象的内存空间

常用的gc机制

  • Serial GC: 只有一个 collector 串行回收
  • Parallel GC: 并行 GC,支持多个 collectors 同时回收的 GC 算法
  • Concurrent GC: 并发 GC,支持 mutator(s) 和 collector(s) 同时执行的 GC 算法

Collectors 必须感知对象指向关系的改变!

Tracing garbage collection: 追踪垃圾回收

回收不可达对象

从根对象出发标记找到所有可达对象,清理回收所有不可达的对象

清理机制

  • Copying GC: 将存活对象从一块内存空间复制到另外一块内存空间,原先的空间可以直接进行对象分配

这种方法不适合频繁操作的对象,增加读写时间

  • Mark-sweep GC: 将死亡对象所在内存块标记为可分配,使用 free list 管理可分配的空间
  • Mark-compact GC: 将存活对象复制到同一块内存区域的开头
引用计数

每个对象都有一个与之关联的引用数目。对象存活的条件:当且仅当引用数大于 0

可以参考c++的智能指针

内存管理的操作被平摊到程序运行中:指针传递的过程中进行引用计数的增减。不需要了解 runtime 的细节。

但是引用数操作一定是原子操作否则这个操作就没有意义了,环形数据结构相互引用会出现问题。这些可以参考c++ 的weakptr 的解决方式,利用软链接

Go 内存管理及优化

Go 内存管理

为对象在 heap 上分配内存,提前将内存分块。调用系统调用 mmap() 向 OS 申请一大块内存,例如 4 MB,先将内存划分成大块,例如 8 KB,称作 mspan,再将大块继续划分成特定大小的小块,用于对象分配。分配的空间有两种模式:noscan mspan: 分配不包含指针的对象 —— GC 不需要扫描; scan mspan: 分配包含指针的对象 —— GC 需要扫描

内存缓存

提高访问速度,往往会采用多级缓存方式。从 OS 分配得的内存被内存管理回收后,go也不会立刻归还给 OS,而是在runtime 内部先缓存起来,从而避免频繁向 OS 申请内存。内存分配的路线图如下。

mspan, mcache 和 mcentral 构成了内存管理的多级缓存机制。在实际应用中小对象分配占大多数,字节提出了balanced gc策略解决这个问题

Balanced GC

每个go runtime都会绑定一块allocation buffer用来分配小于128b的noscan 小对象,并使用移动对象 GC 管理这部分内存,提高对象分配和回收效率。分配对象时,根据对象大小移动 top 指针并返回,快速完成一次对象分配

balanced GC 缩短了对象分配的路径,减少了对象分配执行的指令数目,降低 CPU 使用

allocation buffer 可以认为是一个大对象,本质上 balanced GC 是将多次小对象的分配合并成一次大对象的分配。但是当每个GAB都有少量小对象存活,将会占用大量的GAB无法释放。为此,balanced GC 会根据 GC 策略,将 GAB 中存活的对象移动到另外的 GAB 中,从而压缩并清理 GAB 的内存空间,原先的 GAB 空间由于不再有存活对象,可以全部释放,如下图所示。

Balanced GC 只负责 noscan 对象的分配和移动,很好的提高了运行速度和小对象分配的问题。对于对象的标记和回收依然依赖 Go GC 本身,并和 Go GC 保持兼容。