Go 内存管理及优化 | 青训营笔记

这是我参与「第五届青训营 」伴学笔记创作活动的第 6 天

Go 内存管理一分块

• 目标：为对象在 heap 上分配内存
• 提前将内存分块
  • 调用系统调用 mmap () 向 OS 申请一大块内存，例如 4 MB 先将内存划分成大块，例如 8 KB，称作 mspan
  • 再将大块继续划分成特定大小的小块，用于对象分配
  • noscan mspan: 分配不包含指针的对象——GC 不需要扫描
  • scan mspan: 分配包含指针的对象—GC 需要扫描
• 对象分配：根据当前对象的大小，选择最合适的块返回

Go 内存管理—缓存

• 借鉴了TCMalloc: thread caching
• 每个 p 包含一个 mcache 用于快速分配，用于为绑定于 p 上的 g 分配对象
• mcache 管理一组 mspan
• 当 mcache 中的 mspan 分配完毕，向 mcentral 申请带有未分配块的 mspan
• 当 mspan 中没有分配的对象，mspan 会被缓存在 mcentral 中，而不是立刻释放并归还给 OS

Go 对象分配的性能问题

• 对象分配在现实的线上场景中是非常高频的操作：每秒分配 GB 级别的内存
• Go 内存分配比较耗时
  • 分配路径过长：g ->m ->p -> mcache -> mspan -> memory block -> return pointer
  • pprof：对象分配的函数是最频繁调用的函数之一
• 小对象居多 （需要进行一些特定优化）

字节的优化方案：Balanced GC

• Balanced GC
  • 每个 g 都绑定一大块内存 (1 KB)，称作 goroutine allocation buffer (GAB)
  • GAB 用于 noscan 类型的小对象分配:<128 B
  • 使用三个指针维护 GAB: base, end, top
  • Bump pointer (指针碰撞) 风格对象分配
    • 无须和其他分配请求互斥
      • 不需要通过之前复杂的分配路径，直接通过操作指针就能实现内存的分配
      • 每个 g 独有一个 GAB，所以不会和其他 g 的内存请求出现互斥
    • 分配动作简单高效 - 通过判断当前top指针加上size是否超过end指针来判断是否能够分配内存
• 特征
  • 指针碰撞风格的对象分配
  • 实现了 copying GC
• 细节
  • GAB 对于 Go 内存管理来说是一个大对象
  • 本质: 将多个小对象的分配合并成一次大对象的分配
  • 问题: GAB 的对象分配方式会导致内存被延迟释放
    • 由于 GAB 是整体分配的，其中一个部分的小对象存活，整个 GAB 也必须存活，所以会导致内存延迟释放
  • 解决方案：移动 GAB 中存活的对象
    • 当 GAB 总大小超过一定阈值时，将 GAB 中存活的对象复制到另外分配的 GAB 中
    • 原先的 GAB 可以释放，避免内存泄漏
    • 本质：用 copying GC 的算法管理小对象
      • 根据对象的生命周期使用不同的标记和清理策略