高性能Go语言发行版优化与落地实践 | 青训营笔记

88 阅读5分钟

这是我参与「第三届青训营 -后端场」笔记创作活动的第4篇笔记。

1.自动内存管理

动态内存:程序在运行时根据需求动态分配的内存malloc()

自动内存管理(垃圾回收):由程序语言的运行时系统管理动态内存;避免手动内存管理,专注于实现业务逻辑;保证内存使用的正确性和安全性: double-free problem, use-after-free problem

三个任务:为新对象分配空间,找到存活对象,回收死亡对象的内存空间

Mutator:业务线程,分配新对象,修改对象指向关系

Collector: GC线程,找到存活对象,回收死亡对象的内存空间

Serial GC:只有一个collector

Parallel GC:支持多个collectors同时回收的GC算法

Concurrent GC: mutator(s)和collector(s)可以同时执行

评价GC算法:安全性、吞吐率、暂停实践、内存开销

1.2 追踪垃圾回收

1.对象被回收的条件:指针指向关系不可达的对象

2.标记根对象:静态变量、全局变量、常量、线程栈

3.标记:求指针指向关系的传递闭包—从根节点出发,找到所有可达对象

4.清理:所有不可达对象--将存活对象复制到另外的内存空间;将死亡对象的内存标记为可分配;移动并整理存活对象

5.copying GC:根据对象的生命周期,使用不同的标记和清理策略

1.3 分代GC

1. 分代假说: most objects die young

2. Intuition:很多对象在分配出来后很快就不再使用了

3.每个对象都有年龄:经历过GC的次数

4.目的:对年轻和老年的对象制定不同的GC策略,降低整体内存管理的开销

5. 不同年龄的对象处于heap 的不同区域

年轻代:常规的对象分配,由于存活对象很少,可以采用copying collection,GC吞吐率很高

老年代:对象趋向于一直活着,反复复制开销较大;可以采用mark-sweep collection

1.4 引用计数

1.每个对象都有一个与之关联的引用数目

2.对象存活的条件:当且仅当引用数大于0

3.优点:内存管理的操作被平摊到程序执行过程中;内存管理不需要了解runtime的实现细节(c++智能指针)

4.缺点:维护引用计数的开销较大--通过原子操作保证对引用计数操作的原子性和可见性;无法回收环形数据结构-- weak reference;内存开销:每个对象都引入的额外内存空间存储引用数目;回收内存时依然可能引发暂停

 

2.Go内存管理及优化

2.1 Go内存分配

2.1.1 分块

      1.目标:为对象在heap上分配内存

      2.提前将内存分块

      3.对象分配:根据对象的大小,选择最合适的块返回

2.1.2 缓存

      TCMalloc:thread caching

2.2 Go内存管理优化

      对象分配是非常高频的操作;小对象占比较高;Go内存分配比较耗时

2.3 Balanced GC

    goroutine allocation buffer (GAB):对于Go内存管理来说是一个大对象

    本质:将多个小对象的分配合并成一次大对象的分配

    问题:GAB的对象分配方式会导致内存被延迟释放

    方案:移动GAB中存活的对象,本质是用copying GC算法管理小对象

 

3.编译器和静态分析

3.1 编译器的结构

1.分析部分(前端front end):词法分析,生成词素(lexeme);语法分析,生成语法树;语义分析,收集类型信息,进行语义检查;中间代码生成,生成 intermediate representation (IR)

2.综合部分(后端back end):代码优化,机器无关优化,生成优化后的IR;代码生成,生成目标代码

3.2 静态分析

静态分析:不执行程序代码,推导程序的行为,分析程序的性质。

控制流(Control flow):程序执行的流程

数据流(Data flow):数据在控制流上的传递

3.3 过程内分析和过程间分析

过程内分析:仅在函数内部进行分析

过程间分析:考虑函数调用时参数传递和返回值的数据流和控制流

 

4.Go编译器优化

4.1 函数内联

内联:将被调用函数的函数体(callee)的副本替换到调用位置(caller)上,同时重写代码以反映参数的绑定

优点:消除函数调用开销,例如传递参数、保存寄存器等;将过程问分析转化为过程内分析,帮助其他优化,例如逃逸分析

缺点:函数体变大,instruction cache不友好;编译生成的Go镜像变大

4.2 Beast Mode

Go函数内联受到的限制较多:语言特性限制了函数内联;内联策略保守

Beast mode:调整函数内联的策略,使更多函数被内联;降低函数调用的开销;增加了其他优化的机会:逃逸分析

开销:Go镜像增加~10%;编译时间增加

4.3 逃逸分析

分析代码中指针的动态作用域:指针在何处可以被访问

Beast mode:函数内联拓展了函数边界,更多对象不逃逸

优化:未逃逸的对象可以在栈上分配--对象在栈上分配和回收很快:移动sp;减少在heap 上的分配,降低GC负担