内存管理与编译器优化 ｜ 青训营笔记

柠檬槟榔糖
111 阅读5分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第12天

内存分配：

分块

  • TCMalloc: TC is short for thread caching
  • 目标：为对象在 heap 上分配内存
  • 提前将内存分块
    • 调用系统调用 mmap() 向 OS 申请一大块内存，例如 4 MB
    • 先将内存划分成大块，例如 8 KB，称作 mspan
    • 再将大块继续划分成特定大小的小块，用于对象分配
      • noscan mspan: 分配不包含指针的对象 —— GC 不需要扫描
      • scan mspan: 分配包含指针的对象 —— GC 需要扫描 image.png
  • 对象分配：根据对象的大小，选择最合适的块返回

缓存

Go 内存管理构成了多级缓存机制，从 OS 分配得的内存被内存管理回收后，也不会立刻归还给 OS，而是在 Go runtime 内部先缓存起来，从而避免频繁向 OS 申请内存。mspan, mcache 和 mcentral 构成了内存管理的多级缓存机制，内存分配的路线图如下： image.png

  • TCMalloc以线程为对象分配内存
  • 每个p包含一个mcache用于快速分配，用于为绑定在p上的协程g分配对象
  • mcache管理一组mspan
  • 当mcache中的mspan分配完毕，向mcentral申请带有未分配快的mspan
  • 当mspan中没有分配的对象，mspan会被缓存在mcentral中而不是立即释放还给OS

GO内存管理的问题

mspan, mcache 和 mcentral 构成了内存管理的多级缓存机制。

  • 对象分配是非常高频的操作：每秒分配 GB 级别的内存
  • 线上 profiling 发现，Go 的内存分配占用很多 CPU
    • 可以看到，用于分配对象的函数 mallocgc() 占用 CPU 较高
    • 分配路径长：g -> m -> p -> mcache -> mspan -> memory block -> return pointer
  • 小对象分配占大多数
    • 横轴是对象大小，纵轴是数目，可以看到绝大多数对象都小于 80 B。因此优化小对象分配是关键 image.png image.png

字节跳动的优化方案

  • Balanced GC
  • 每个 G 会附加一个较大的 allocation buffer (例如 1 KB) 用来分配小于 128 B 的 noscan 小对象
  • 核心：将 noscan 对象在 per-g allocation buffer (GAB) 上分配，并使用移动对象 GC 管理这部分内存，提高对象分配和回收效率
    • GAB对于GO内存管理来说是一个对象 image.png
  • 分配对象时，根据对象大小移动 top 指针并返回，快速完成一次对象分配
  • 同原先调用 mallocgc() 进行对象分配的方式相比，balanced GC** 缩短了对象分配的路径**，减少了对象分配执行的指令数目，降低 CPU 使用
  • 本质：将多个小对象的分配合并成一次大对象的分配
  • 问题：当 GAB 中哪怕只有一个小对象存活时，Go runtime 也会认为整个大对象（即 GAB）存活，GAP的对象分配会导致内存被延迟释放
  • 方案：移动GAB中存活的对象
    • 当GAB总大小超过一定阈值时，将GAB中存活的对象复制到另外分配的GAB中
    • 原先的GAB可以释放，避免内存泄漏
    • 本质：使用 copying GC的算法管理小对象（根据对象生命周期，使用不同的清理策略） image.png

编译器和静态分析

静态分析

编译器的结构 image.png

  • 静态分析：不执行代码，推导程序的行为，分析程序的性质。
  • 控制流：程序的执行流程
  • 数据流：数据在控制流上的传递 image.png
  • Intra-procedural analysis: 函数内分析：在函数内进行控制流和数据流的分析
  • Inter-procedural analysis: 函数间分析：除了函数内的分析，还需要考虑跨函数的数据流和控制流，例如参数传递，函数返回值等

Go 编译器优化

  • 目的

    • 用户无感知，重新编译即可获得性能收益
    • 通用的优化手段

  • 现状

    • 采用的优化较少
    • 追求编译时间短，因此没有进行复杂的代码分析和优化

  • 思路

    • 面向后端长期执行的任务
    • 用适当牺牲编译时间换取更高性能的代码

函数内联inline

  • 定义：将被调用函数的函数体的副本替换到调用位置上，同时重写代码以反映参数的绑定

  • 优点

    • 消除调用开销，例如传递参数，保存寄存器等
    • 将过程间分析的问题转换为过程内分析，帮助其他分析优化，例如逃逸分析

  • 缺点

    • 函数体变大，
    • 编译生成的 Go 镜像文件变大

  • 函数内联在大多数情况下是正向优化，即多内联，会提升性能

  • 采取一定的策略决定是否内联

    • 调用和被调用函数的规模

  • Go 内联的限制

    • 语言特性：interface, defer 等等，限制了内联优化
    • 内联策略非常保守

  • 字节跳动的优化方案Beast Mode

    • 修改了内联策略，让更多函数被内联
    • 增加了其他优化的机会：逃逸分析

  • 开销

    • Go 镜像大小略有增加
    • 编译时间增加
    • 运行时栈扩展开销增加

逃逸分析

  • 定义：分析代码中指针的动态作用域，即指针在何处可以被访问
  • 大致思路
    • 从对象分配处出发，沿着控制流，观察数据流。若发现指针 p 在当前作用域 s:
      • 作为参数传递给其他函数；
      • 传递给全局变量；
      • 传递给其他的 goroutine;
      • 传递给已逃逸的指针指向的对象；
    • 则指针 p 逃逸出 s，反之则没有逃逸出 s.
  • 优化：未逃逸出当前函数的指针指向的对象可以在栈上分配
    • 对象在栈上分配和回收很快：移动 sp 即可完成内存的分配和回收；
    • 减少在堆上分配对象，降低 GC 负担。
avatar
文章
阅读
粉丝