Go性能优化及内存管理（1月19日） ｜ 青训营笔记

tmoon
149 阅读7分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 4 天

一、本堂课重点内容：

1. 自动内存管理
2. Go内存管理及优化
3. 编译器和静态分析
4. Go编译器优化

二、详细知识点介绍：

1. 自动内存管理

1.1 自动内存管理

  • 动态内存

    • 程序在运行时根据需求动态分配的内存：malloc（）

  • 自动内存管理（垃圾回收）

    • 内容：由程序语言的运行时系统管理动态内存
    • 避免手动内存管理，专注于实现业务逻辑
    • 保证内存使用的正确性和安全性: double-free problem, use-after-free problem

  • 三个任务

    • 为新对象分配空间
    • 找到存活对象
    • 回收死亡对象的内存空间

  • 相关概念

    • Mutator: 业务线程，分配新对象，修改对象指向关系

    • Collector: GC 线程，找到存活对象，回收死亡对象的内存空间

    • Serial GC: 只有一个 collector

    • Parallel GC: 并行 GC，支持多个 collectors 同时回收的 GC 算法

    • Concurrent GC: 并发 GC，支持 mutator(s) 和 collector(s) 同时执行的 GC 算法

1.2 追踪垃圾回收

  • 对象被回收的条件：指针指向关系不可达的对象

  • 标记根对象

    • 静态变量、全局变量、常量、线程栈等

  • 标记：找到可达对象

    • 求指针指向关系的传递依赖包：从根对象出发，找到所有可达对象

  • 清理：所有不可达对象

    • Copying GC: 将存活对象从一块内存空间复制到另外一块内存空间，原先的空间可以直接进行对象分配
    • Mark-sweep GC: 将死亡对象所在内存块标记为可分配，使用 free list 管理可分配的空间
    • Mark-compact GC: 将存活对象复制到同一块内存区域的开头

1.3 分代GC（Generational GC）

  • 分代假说（Generational hypoththesis）：most objects die young
  • Intuition：很多对象在分配出来后很快就不再使用了
  • 每个对象都有年龄：经历过GC的次数
  • 目的：对年轻和老年的对象，制定不同的GC策略，降低整体内存管理的开销
  • 不同年龄的对象处于heep的不同区域
  • 年轻化（Young generation）
    • 常规的对象分配
    • 由于存活对象很少，可以采用 copying collection
    • GC 吞吐量很高
  • 老年代（Old generation）
    • 对象趋于一直存活，反复复制开销较大
    • 可以采用mark-sweep collection

1.4 引用计数

  • 每个对象都有一个与之关联的引用数目
  • 对象存活的条件：当且仅当引用数大于 0
  • 优点
    • 内存管理的操作被平摊到程序运行中：指针传递的过程中进行引用计数的增减
    • 不需要了解 runtime 的细节：C++智能指针，因为不需要标记 GC roots，因此不需要知道哪里是全局变量、线程栈等

  • 缺点

    • 开销大，因为对象可能会被多线程访问，对引用计数的修改需要原子操作保证原子性和可见性
    • 无法回收环形数据结构
    • 内存开销：每个对象都引入额外存储空间存储引用计数
    • 虽然引用计数的操作被平摊到程序运行过程中，但是回收大的数据结构依然可能引发暂停
2. Go内存管理及优化

2.1 Go 内存管理——分块

  • 目标：为对象在 heap 上分配内存

  • 提前将内存分块

    • 调用系统调用 mmap() 向 OS 申请一大块内存，例如 4 MB
    • 先将内存划分成大块，例如 8 KB，称作 mspan
    • 再将大块继续划分成特定大小的小块，用于对象分配
    • noscan mspan: 分配不包含指针的对象 —— GC 不需要扫描
    • scan mspan: 分配包含指针的对象 —— GC 需要扫描

  • 对象分配：根据对象的大小，选择最合适的块返回

  • 内存缓存

    • Go 内存管理构成了多级缓存机制，从 OS 分配得的内存被内存管理回收后，也不会立刻归还给 OS，而是在 Go runtime 内部先缓存起来，从而避免频繁向 OS 申请内存。内存分配的路线图如下。

    b97ea16a0b28460a8a64ec28384e8425~tplv-k3u1fbpfcp-zoom-in-crop-mark 4536 0 0 0.webp

2.2 Go内存管理优化

  • 对象分配是非常高频的操作：每秒分配 GB 级别的内存

  • 小对象分配占大多数

  • Go内存分配比较耗时

2.3 Balanced GC

  • 每个g都绑定一个大内存（1kb），称作 goroutine allocation buffer（GAB）

  • GAB 用于noscan类型的小对象分配：<128 B

  • 使用三个指针维护GAB:base,end,top

  • Bump pointer(指针碰撞) 风格对象分配

    • 无须和其他分配请求互斥
    • 分配动作简单高效

  • 本质：将多个小对象的分配合成一次达对象的分配

  • 问题：GAB的对象分配方式会导致内存释放被延迟

  • 方案：移动GAB中存活的对象

    • 当GAB总大小超过一定阈值时，将GAB中存活的对象复制到另外分配的GAB中
    • 原先的GAB可以释放，避免内存泄漏
    • 本质：与用copying GC的算法管理小对象
3. 编译器和静态分析
  • 编译器的结构

  • 静态分析：不执行代码，推导程序的行为，分析程序的性质。
  • 控制流：程序的执行流程
  • 数据流：数据在控制流上的传递

上图的程序转换成控制流图 (control-flow graph)

  • 通过分析控制流和数据流，我们可以知道更多关于程序的性质(properties) ，这些事实可以帮助我们做编译优化。

    • 例如上面的程序。我们通过分析数据流和控制流，知道这个程序始终返回 4。编译器可以根据这个结果做出优化。

  • Intra-procedural analysis: 函数内分析：在函数内进行控制流和数据流的分析
  • Inter-procedural analysis: 函数间分析：除了函数内的分析，还需要考虑跨函数的数据流和控制流，例如参数传递，函数返回值等
4. Go编译器优化

4.1 目的

  • 用户无感知，重新编译即可获得性能收益
  • 通用的优化手段

4.2 现状

  • 采用的优化较少
  • 追求编译时间短，因此没有进行复杂的代码分析和优化

4.3 思路

  • 面向后端长期执行的任务
  • 用适当增加编译时间换取更高性能的代码

4.4 Beast mode

函数内联

  • 定义：将被调用函数的函数体的副本替换到调用位置上，同时重写代码以反映参数的绑定

  • 优点

    • 消除调用开销
    • 将过程间分析的问题转换为过程内分析，帮助其他分析

  • 缺点

    • 函数体变大
    • 编译生成的 Go 镜像文件变大
  • 函数内联在大多数情况下是正向优化，即多内联，会提升性能

  • 采取一定的策略决定是否内联

    • 调用和被调用函数的规模

  • Go 内联的限制

    • 语言特性：interface, defer 等等，限制了内联优化
    • 内联策略非常保守

  • 字节跳动的优化方案

    • 修改了内联策略，让更多函数被内联
    • 增加了其他优化的机会：逃逸分析

  • 开销

    • Go 镜像大小略有增加
    • 编译时间增加
    • 运行时栈扩展开销增加

逃逸分析

  • 定义：分析代码中指针的动态作用域，即指针在何处可以被访问

  • 大致思路

    • 从对象分配处出发，沿着控制流，观察数据流。若发现指针 p 在当前作用域 s:

      • 作为参数传递给其他函数；
      • 传递给全局变量；
      • 传递给其他的 goroutine;
      • 传递给已逃逸的指针指向的对象；

    • 则指针 p 逃逸出 s，反之则没有逃逸出 s.

  • 优化：未逃逸出当前函数的指针指向的对象可以在栈上分配

    • 对象在栈上分配和回收很快：移动 sp 即可完成内存的分配和回收；

    • 减少在堆上分配对象，降低 GC 负担。

三、实践练习例子：

四、课后个人总结：

经过本次课程学习，我学到了Go语言的性能优化及内存管理。学到了自动内存管理的机制，在之后的Go内存管理和优化的方面，讲了多种方案，同时也学到了字节自己的优化方法。最后我是学到了编译器的优化，但是还是有很多不懂的地方，得慢慢查资料，今天又是忙忙碌碌的一天~！

五、引用参考：

avatar
文章
阅读
粉丝