这是我参与「第五届青训营 」伴学笔记创作活动的第5天。
Go自动内存管理
自动内存管理管理是动态内存
动态内存:程序在运行时根据需求动态分配的内存,如函数malloc
自动内存管理(垃圾回收):由程序语言的运行时系统管理动态内存
自动内存管理的优点:避免手动内存管理,专注于实现业务逻辑,保证内存使用的正确性和安全性,C/C++中连续释放或释放后使用会出现安全漏洞
可以在CVE上查询漏洞
自动内存管理的任务:为新对象分配空间、找到存活对象、回收死亡对象的内存空间。
Auto memory management: 自动内存管理
Grabage collction: 垃圾回收
Mutator: 业务线程,分配新对象,修改对象指向关系
Collector: GC 线程,找到存活对象,回收死亡对象的内存空间
Serial GC:只有一个GC线程的GC算法,会引入暂停
Concurrent GC: 并发 GC,业务线程和GC线程可以同时执行,不引入暂停,一边垃圾回收一边运行其他线程,必须感知对象指向关系的改变
Parallel GC: 并行 GC,支持多个GC线程同时回收的GC算法,会引入暂停
Tracing garbage collection: 追踪垃圾回收
Copying GC: 复制对象 GC
Mark-sweep GC: 标记-清理 GC
Mark-compact GC: 标记-压缩 GC
Reference counting: 引用计数,给每个对象一个与之关联的引用数目,当引用数大于0对象才是存活的,但这个方法通过原子操作开销较大并且没办法回收环形数据结构
Generational GC: 分代 GC,基于分代假说(很多对象在分配出来后很快就不使用),针对对象经历过GC的次数指定不同的GC策略,经历少的对象存活对象很少,GC吞吐率高,可以采用copying collection,经历多的对象趋向一直活着,可以采用mark-sweep collection
Young generation: 年轻代
Old generation: 老年代
TCMalloc
mmap() 系统调用
scan object 和 noscan object
mspan, mcache, mentral
Bump-pointer object allocation: 指针碰撞风格的对象分配
词法分析
语法分析
语义分析
Intermediate representation (IR) 中间表示
代码优化
代码生成
Control flow: 控制流
Data flow: 数据流
Intra-procedural analysis 过程内分析
Inter-procedural analysis: 过程间分析
Function inlining: 函数内联
Escape analysis: 逃逸分析
GC算法安全性:不能回收存活的对象
GC算法吞吐率:(总时间-GC时间)/总时间
GC算法暂停时间:STW时间(stop the world)
GC算法内存开销:GC元数据开销
追踪垃圾回收:从根对象出发,标记可达对象,清理所有不可达对象,移动并整理存活对象
学术界指出自动内存管理不足的文章:PLDI'22 Low-Latency,High-Throughput Garbage Collection
Go内存管理和编译器优化
内存分配:为对象在heap上分配内存,提前将内存分块
内存分配过程:系统调用mmap()向OS申请一块内存,将内存分成大块,再将大块分成用于对象分配的特定大小的小块
对象分配:根据对象大小选择合适的块返回
noscan mspan:分配不含特定指针的对象,GC不需要扫描
scan mspan:分配含特定指针的对象,需要GC扫描
每个p包含一个mcache用于快速分配,用于为绑定于p上的g分配对象
mcache管理一组mspan
当mcache中的mspan分配完毕,向mcentral申请带有未分配块的mspan
当mspan中没有分配的对象,mspan会被缓存在mcentral中,而不是立即释放并归还给OS
对象分配非常高频,每秒分配GB级别的内存
对象分配中小对象占比较高
Go内存分配路径长,耗时较长
内存分配路径:g->m->p->mcache->mspan->memory block->return pointer
内存分配优化方案(Balanced GC):每个g绑定一大块内存(1KB),用于noscan类型的小对象分配,可以使用三个指针来进行维护,可将多次小对象分配变为一次大对象分配
Balanced GC缺点:会导致内存释放延迟
解决方法:当存活总大小小于一定阈值,就将存活对象用copying GC复制到另一个g中,释放原g绑定的内存
编译器结构:系统软件、分析部分、综合部分
系统软件:识别符合语法和非法的程序,生成正确且高效的代码
分析部分:词法分析,生成词素,语法分析,生成语法树,语义分析,收集类型信息,中间代码生成
综合部分:代码优化,机器无关优化,代码生成,生成目标代码
静态分析:不执行程序代码,推导程序的行为,分析程序的性质
控制流:程序执行的流程
数据流:数据在控制流上的传递
可以通过micro-benmark快速验证性能优化
编译器优化原因:重新编译即可获得性能收益,通用性优化
编译器优化思路:面向后端长期执行任务,用编译时间换取更高效的机器码
函数内联:将被调用函数的函数体的副本替换到调用位置,同时重写代码以反映参数的绑定
逃逸分析:分析代码中指针的动态作用域,指针在何处可以被访问
逃逸分析思路:从对象分配处出发,沿着控制流,观察对象的控制流,若指针p在作用域s作为参数传递给其他函数,若指针p传递给全局变量,若指针p传递给其他goroutine,若指针p传递给已逃逸的指针指向的对象,则指针p指向的对象逃逸出s,反之没有逃逸出s