go内存管理 ｜ 青训营笔记

Taro1
69 阅读5分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 3 天

1.自动内存管理

1.1 相关概念

  • Mutator：业务线程，分配新对象，修改对象指向关系
  • Collector：GC线程，找到存活对象，回收死亡对象的内存空间
  • Serial GC：只有一个collector
  • Parallel GC：支持多个collectors同时回收的GC算法
  • Concurrent GC： mutator(s)和collector(s)可以同时执行

GC 算法评价标准：

  • 安全性(Safety)：不能回收存活的对象
  • 吞吐率(Throughput)：1−GC时间程序执行总时间1 -\frac{GC时间}{程序执行总时间}
  • 暂停时间(Pause time)：stop the world (STW)，业务是否感知
  • 内存开销(Space overhead)：GC元数据开销

1.2 追踪垃圾回收

​ 对象被回收的条件：指针指向关系不可达的对象标记根对象

步骤：

  1. 标记根对象

    静态变量，全局变量，常量，线程栈等

  2. 标记：找到可达对象

    求指针指向关系的传递闭包：从根对象出发，找到所有可达的对象

  3. 清理：对所有不可达对象，根据对象的生命周期，选择不同的标记和清理策略

    清理策略：

    将存活对象复制到另外的内存空间(Copying GC)

    将死亡对象的内存标记为"可分配"(Mark-sweep GC)

    移动并整理存活对象(Mark-compact GC)

1.3 引用计数

  • 每个对象都有一个与之关联的引用数目

  • 对象存活的条件:当且仅当引用数大于

  • 优点：

    内存管理的操作被平摊到程序执行过程中

    内存管理不需要了解runtime的实现细节

  • 缺点：

    维护引用计数的开销较大：通过原子操作保证对引用计数操作的原子性和可见性

    无法回收环形数据结构 内存开销：每个对象都引入的额外内存空间存储引用数目

    回收内存时依然可能引发暂停

2.Go 内存管理及优化

2.1 Go内存分配

分块

目标：为对象在heap 上分配内存

提前将内存分块：

  • 调用系统调用mmap 向OS申请一大块内存

  • 先将内存划分成大块，称作mspan

  • 再将大块继续划分成特定大小的小块，用于对象分配

  • noscan mspan:分配不包含指针的对象——GC不需要扫描

  • scan mspan:分配包含指针的对象——GC需要扫描

对象分配：根据对象的大小，选择最合适的块返回

缓存

TCMalloc: thread caching

  • 每个 p 包含一个 mcache 用于快速分配，用于为绑定于 p 上的 g 分配对象
  • mcache 管理一组 mspan
  • 当 mcache 中的 mspan 分配完毕，向 mcentral 申请带有未分配块的 mspan
  • 当 mspan 中没有分配的对象，mspan 会被缓存在 mcentral 中，而不是立刻释放并归还给 OS

对象分配操作高频，小对象分配占比高，Go内存分配比较耗时(分配路径长:g -> m -> p -> mcache -> mspan -> memory block -> return pointer)

2.2 Balanced GC

  • 每个 g 都绑定一大块内存(1 KB)，称作 goroutine allocation buffer(GAB)

  • GAB 用于 noscan 类型的小对象分配：<128B

  • 使用三个指针维护 GAB: base, end, top

  • Bump pointer (指针碰撞）风格对象分配

    无须和其他分配请求互斥，分配动作简单高效

GAB 对于 Go 内存管理来说是一个大对象 本质：将多个小对象的分配合并成一次大对象的分配

问题：GAB 的对象分配方式会导致内存被延迟释放

方案：移动 GAB 中存活的对象

  • 当 GAB 总大小超过一定阈值时，将 GAB 中存活的对象复制到另外分配的 GAB 中
  • 原先的 GAB 可以释放，避免内存泄漏
  • 本质：用 copying GC 的算法管理小对象

3.编译器和静态分析

静态分析：不执行程序代码，推导程序的行为，分析程序的性质

控制流(Control flow)：程序执行的流程

数据流(Data flow)：数据在控制流上的传递

4.Go编译器优化

函数内联Inlining

内联:将被调用函数的函数体(callee)的副本替换到调用位置(caller)上，同时重写代码以反映参数的绑定

优点：

  • 消除函数调用开销,例如传递参数、保存奇存器等
  • 将过程间分析转化为过程内分析

缺点：

  • 函数体变大,instruction cache (icache)不友好
  • 编译生成的Go镜像变大

Beast mode

  • Go 函数内联受到的限制较多
  • 语言特性，例如 interface, defer 等，限制了函数内联·内联策略非常保守

Beast mode: 调整函数内联的策略，使更多函数被内联降低函数调用的开销，增加了其他优化的机会(逃逸分析)。Go镜像增加~10%编译时间增加

逃逸分析

逃逸分析：分析代码中指针的动态作用域:指针在何处可以被访问

分析大致思路：

  • 从对象分配处出发，沿着控制流，观察对象的数据流

  • 若发现指针 p 在当前作用域 s ：

    作为参数传递给其他函数·传递给全局变量

    传递给其他的goroutine

    传递给已逃逸的指针指向的对象

  • 则指针 p 指向的对象逃逸出 s，反之则没有逃逸出 s

Beast mode：函数内联拓展了函数边界，更多对象不逃逸

优化：未逃逸的对象可以在栈上分配

  • 对象在栈上分配和回收很快:移动 sp
  • 减少在 heap 上的分配，降低 GC 负担
avatar
文章
阅读
粉丝