Go性能优化| 青训营笔记

240 阅读7分钟

这是我参与「第三届青训营 -后端场」笔记创作活动的第2篇笔记


1,优化定义

  • 提升软件系统处理能力,减少不必要的消耗,充分发掘计算机算力。
  • 带来用户体验的提升,降低成本,提高效率。
  • 对象:业务层优化,针对特定场景,具体问题,具体分析;语言运行时优化,解决更通用的性能问题;数据驱动,利用自动化性能分析工具分析性能瓶颈,依靠数据而非猜测。
  • 前提:保证接口稳定的前提下改进实现;通过清晰的文档告诉用户这一项优化做了什么,没做什么,能达到怎样的效果;隔离,优化代码用选项和原先的路径隔离,保证优化未启用时的行为同以前一致。

2,内存管理

2.1,基础
  • 自动内存管理:由程序语言的运行时系统管理动态内存,避免手动内存管理,专注于实现业务逻辑,保证内存使用的正确性和安全性。
  • 任务:为新对象分配空间;找到存货对象;回收死亡对象空间。
  • 回收线程与业务线程:
    • Mutator: 业务线程,分配新对象,修改对象指向关系;Collector: GC 线程,找到存活对象,回收死亡对象的内存空间.

    • Serial GC: 只有一个 collector;Parallel GC: 并行 GC,支持多个 collectors 同时回收的 GC 算法;Concurrent GC: 并发 GC,支持 mutator(s) 和 collector(s) 同时执行的 GC 算法

      image.png

  • GC评价标准:安全性:存活对象不能被回收;吞吐率:GC时间占比;暂停时间:业务是否感知到暂停;内存开销:GC成本。
2.2,GC算法
  • 追踪垃圾回收:回收不可达对象。标记根对象 (GC roots): 静态变量、全局变量、常量、线程栈等--->标记:找到所有可达对象--->清理:回收所有不可达对象占据的内存空间。

  • 引用计数:每个对象都有一个与之关联的引用数目,对象存活的条件:当且仅当引用数大于 0

    • 优点:内存管理的操作被平摊到程序运行中:指针传递的过程中进行引用计数的增减不需要了解 runtime 的细节:因为不需要标记 GC roots,因此不需要知道哪里是全局变量、线程栈等

    • 缺点:开销大,因为对象可能会被多线程访问,对引用计数的修改需要原子,操作保证原子性和可见性;无法回收环形数据结构;每个对象都引入额外存储空间存储引用计数;虽然引用计数的操作被平摊到程序运行过程中,但是回收大的数据结构依然可能引发暂停。

      image.png

  • 分代GC:弱分代假说+强分代假说+跨代引用假说。争对不同年龄对象采取不同的GC策略。

    • 年轻代:存活对象少,标记-复制清除算法,GC吞吐率高。
    • 老年代:存活对象多,标记-清理算法,降低对象复制开销。
  • 清理方式:Copying GC: 将存活对象从一块内存空间复制到另外一块内存空间,原先的空间可以直接进行对象分配。Mark-sweep GC: 将死亡对象所在内存块标记为可分配,使用 free list 管理可分配的空间。Mark-compact GC: 将存活对象复制到同一块内存区域的开头。

    image.png

    image.png

    image.png

2.3 go内存管理
  • 为对象在 heap 上分配内存,根据对象的大小,选择最合适的块返回。提前将内存分块,调用系统调用 mmap() 向 OS 申请一大块内存,例如 4 MB--->先将内存划分成大块,例如 8 KB,称作 mspan--->再将大块继续划分成特定大小的小块,用于对象分配--->noscan mspan: 分配不包含指针的对象 —— GC 不需要扫描--->scan mspan: 分配包含指针的对象 —— GC 需要扫描。

  • Go 内存管理构成了多级缓存机制,从 OS 分配得的内存被内存管理回收后,也不会立刻归还给 OS,而是在 Go runtime 内部先缓存起来,从而避免频繁向 OS 申请内存。

    image.png

  • 小对象分配优化:小对象分配占大多数。

    • Balanced GC:将 noscan 对象在 per-g allocation buffer (GAB) 上分配,并使用移动对象 GC 管理这部分内存,提高对象分配和回收效率。每个 g 会附加一个较大的 allocation buffer (例如 1 KB) 用来分配小于 128 B 的 noscan 小对象。分配对象时,根据对象大小移动 top 指针并返回,快速完成一次对象分配,缩短了对象分配的路径,减少了对象分配执行的指令数目,降低 CPU 使用。 image.png 从 Go runtime 内存管理模块的角度看,一个 allocation buffer 其实是一个大对象。本质上 balanced GC 是将多次小对象的分配合并成一次大对象的分配。因此,当 GAB 中哪怕只有一个小对象存活时,Go runtime 也会认为整个大对象(即 GAB)存活。为此,balanced GC 会根据 GC 策略,将 GAB 中存活的对象移动到另外的 GAB 中,从而压缩并清理 GAB 的内存空间,原先的 GAB 空间由于不再有存活对象,可以全部释放。

      image.png

3 编译器和静态分析

3.1 编译器组成

image.png

3.2 静态分析
  • 静态分析:不执行代码,推导程序的行为,分析程序的性质。数据流:数据在控制流上的传递。控制流:程序的执行流程。通过分析控制流和数据流,我们可以知道更多关于程序的性质 (properties) ,这些事实可以帮助我们做编译优化。
3.3 过程内和过程间分析
  • 过程内分析:仅在过程内部分析;过程间分析:考虑过程传递时的参数传递和返回值数据流和控制流。

4, 编译器优化

通用的优化手段,用适当增加编译时间换取更高性能的代码,面向后端长期执行的任务,用户无感知,重新编译即可获得性能收益。

4.1 函数内联
  • 将被调用函数的函数体的副本替换到调用位置上,同时重写代码以反映参数的绑定
    • 优点:消除调用开销;将过程间分析的问题转换为过程内分析,帮助其他分析
    • 缺点:函数体变大,编译生成的 Go 镜像文件变大
  • 野兽模式:函数内联在大多数情况下是正向优化,即多内联,会提升性能。取一定的策略决定是否内联。由于interface, defer 等等,限制了内联优化,导致内联策略非常保守。 字节跳动的优化方案:修改了内联策略,让更多函数被内联
4.2, 逃逸分析
  • 定义:分析代码中指针的动态作用域,即指针在何处可以被访问
  • 大致思路:从对象分配处出发,沿着控制流,观察数据流。若发现指针 p 在当前作用域 s: 作为参数传递给其他函数;传递给全局变量;传递给其他的 goroutine;传递给已逃逸的指针指向的对象;则指针 p 逃逸出 s,反之则没有逃逸出 s.
  • 优化:未逃逸出当前函数的指针指向的对象可以在栈上分配,对象在栈上分配和回收很快:移动 sp 即可完成内存的分配和回收;减少在堆上分配对象,降低 GC 负担。