Go语言内存管理相关知识|青训营笔记

79 阅读5分钟

这是我参与「第五届青训营」伴学笔记创作活动的第 2 天

序言

将昨日字节第五届青训营Go语言内存管理的课程笔记结合思考,整理成这篇笔记文章。我们想要了解Go语言的相关内存管理机制,首先需要了解一些通用的自动内存管理知识。

自动内存管理(也常成为垃圾回收-Garbage Collect)

自动内存管理:由程序语言的运行时系统管理动态内存

好处

避免手动内存管理,专注于实现业务逻辑 保证内存使用的正确性和安全性:,可以避免像double-free problem(重复释放已经释放的对象), use-after-free problem(使用已经释放的对象)

三个任务

  1. 为新对象分配空间;
  2. 找到存活对象;
  3. 回收死亡对象的内存空间。

一些自动化管理的相关概念:

  • Mutator: 业务线程,分配新对象,修改对象指向关系。指那些用户启动的线程,像go中用户启动的goroutine。
  • Collector: GC 线程,找到存活对象,回收死亡对象的内存空间。就是一个垃圾回收器。 不同类型的collector
  1. Serial GC: 只有一个 collector

image.png 2. Parallel GC: 并行 GC,支持多个 collectors 同时回收的 GC 算法。它比Serial GC的优点在于在暂停状态有多个collector在进行垃圾回收,回收效率高出很多。

image.png 3. Concurrent GC: 并发 GC,支持 mutator(s) 和 collector(s) 同时执行的 GC 算法。该种类型的collector的难度在于它必须感知到对象只想关系的改变。因为在垃圾回收的collector线程执行的时候,还有其他的用户线程在执行,可能会有的对象依赖的对象需要被释放导致该对象也需要被释放,或者是本来要释放的对象重新有对象需要依赖它,从而使得给对象不能被释放。

两种常见的GC技术

1.追踪垃圾回收(Tracing garbage collection) 对象被回收的条件:指针指向对象不可达。

步骤

  • 标记根对象 (GC roots): 静态变量、全局变量、常量、线程栈等
  • 标记:从根对象出发,找到所有可达对象
  • 清理:回收所有不可达对象占据的内存空间

需要根据对象的生命周期,使用不同的标记和清理策略

  • Copying GC: 将存活对象从一块内存空间复制到另外一块内存空间,原先的空间可以直接进行对象分配
  • Copying GC: 将存活对象从一块内存空间复制到另外一块内存空间,原先的空间可以直接进行对象分配
  • Mark-sweep GC: 将死亡对象所在内存块标记为可分配,使用 free list 管理可分配的空间

image.png

  • Mark-compact GC: 将存活对象复制到同一块内存区域的开头

image.png

标记和清理策略的使用实例:分代GC 基于分代假说——很多对象在分配出来后很快就不用了。可以将经历过的GC次数作为每个对象的年龄。可以针对年轻的和老年的对象,制定不同的GC策略以降低整体的内存管理开销。 年轻代用常规方法进行对象分配,由于存活下来的对象会很少,因此可以采用copying collection,GC吞吐率很高。 老年代对象趋向于一直活着,反复复制开销较大,可以采用mark——sweep collection,不改变已分配对象内存的位置,用指针将空的位置链接起来。

2.引用计数

  • 每个对象都有一个与之关联的引用数目

  • 对象存活的条件:当且仅当引用数大于 0

  • 优点

    • 内存管理的操作被平摊到程序运行中:指针传递的过程中进行引用计数的增减
    • 不需要了解 runtime 的细节:因为不需要标记 GC roots,因此不需要知道哪里是全局变量、线程栈等
  • 缺点

    • 开销大,因为对象可能会被多线程访问,对引用计数的修改需要原子操作保证原子性和可见性
    • 无法回收环形数据结构
    • 每个对象都引入额外存储空间存储引用计数
    • 虽然引用计数的操作被平摊到程序运行过程中,但是回收大的数据结构依然可能引发暂停

Go的内存分配管理

提前将内存分块

  • 调用系统调用 mmap() 向 OS 申请一大块内存,例如 4 MB
  • 先将内存划分成大块,例如 8 KB,称作 mspan
  • 再将大块继续划分成特定大小的小块,用于对象分配
  • noscan mspan: 分配不包含指针的对象 —— GC 不需要扫描
  • scan mspan: 分配包含指针的对象 —— GC 需要扫描

需要根据对象的大小选择合适的内存块分配给对象。

image.png

Go的内存分配借鉴了TC-thread caching使用了多级缓存加快了内存分配的速度。内存分配路线图如下:

image.png首先一个goroutine(图中标的g)依赖一个m(method),m依赖于一个对象p。mcache管理划分长度不同的mspans,会根据所需大小分配给对象。多个mcentral分别根据不同的长度进行划分,当mcache中的内存地址分配完毕后,会向mcentral申请带有未分配块的mspan。若一个mspan中没有被分配的对象了,也不会立刻被系统回收,而是在mcentral中缓存。