Go内存管理|青训营笔记

81 阅读5分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第5天。

Go自动内存管理

自动内存管理管理是动态内存

动态内存:程序在运行时根据需求动态分配的内存,如函数malloc

自动内存管理(垃圾回收):由程序语言的运行时系统管理动态内存

自动内存管理的优点:避免手动内存管理,专注于实现业务逻辑,保证内存使用的正确性和安全性,C/C++中连续释放或释放后使用会出现安全漏洞

可以在CVE上查询漏洞

自动内存管理的任务:为新对象分配空间、找到存活对象、回收死亡对象的内存空间。

Auto memory management: 自动内存管理

Grabage collction: 垃圾回收

Mutator: 业务线程,分配新对象,修改对象指向关系

Collector: GC 线程,找到存活对象,回收死亡对象的内存空间

Serial GC:只有一个GC线程的GC算法,会引入暂停

Concurrent GC: 并发 GC,业务线程和GC线程可以同时执行,不引入暂停,一边垃圾回收一边运行其他线程,必须感知对象指向关系的改变

Parallel GC: 并行 GC,支持多个GC线程同时回收的GC算法,会引入暂停

Tracing garbage collection: 追踪垃圾回收

Copying GC: 复制对象 GC

Mark-sweep GC: 标记-清理 GC

Mark-compact GC: 标记-压缩 GC

Reference counting: 引用计数,给每个对象一个与之关联的引用数目,当引用数大于0对象才是存活的,但这个方法通过原子操作开销较大并且没办法回收环形数据结构

Generational GC: 分代 GC,基于分代假说(很多对象在分配出来后很快就不使用),针对对象经历过GC的次数指定不同的GC策略,经历少的对象存活对象很少,GC吞吐率高,可以采用copying collection,经历多的对象趋向一直活着,可以采用mark-sweep collection

Young generation: 年轻代

Old generation: 老年代

TCMalloc

mmap() 系统调用

scan object 和 noscan object

mspan, mcache, mentral

Bump-pointer object allocation: 指针碰撞风格的对象分配

词法分析

语法分析

语义分析

Intermediate representation (IR) 中间表示

代码优化

代码生成

Control flow: 控制流

Data flow: 数据流

Intra-procedural analysis 过程内分析

Inter-procedural analysis: 过程间分析

Function inlining: 函数内联

Escape analysis: 逃逸分析

GC算法安全性:不能回收存活的对象

GC算法吞吐率:(总时间-GC时间)/总时间

GC算法暂停时间:STW时间(stop the world)

GC算法内存开销:GC元数据开销

追踪垃圾回收:从根对象出发,标记可达对象,清理所有不可达对象,移动并整理存活对象

学术界指出自动内存管理不足的文章:PLDI'22 Low-Latency,High-Throughput Garbage Collection

Go内存管理和编译器优化

内存分配:为对象在heap上分配内存,提前将内存分块

内存分配过程:系统调用mmap()向OS申请一块内存,将内存分成大块,再将大块分成用于对象分配的特定大小的小块

对象分配:根据对象大小选择合适的块返回

noscan mspan:分配不含特定指针的对象,GC不需要扫描

scan mspan:分配含特定指针的对象,需要GC扫描

每个p包含一个mcache用于快速分配,用于为绑定于p上的g分配对象

mcache管理一组mspan

当mcache中的mspan分配完毕,向mcentral申请带有未分配块的mspan

当mspan中没有分配的对象,mspan会被缓存在mcentral中,而不是立即释放并归还给OS

对象分配非常高频,每秒分配GB级别的内存

对象分配中小对象占比较高

Go内存分配路径长,耗时较长

内存分配路径:g->m->p->mcache->mspan->memory block->return pointer

内存分配优化方案(Balanced GC):每个g绑定一大块内存(1KB),用于noscan类型的小对象分配,可以使用三个指针来进行维护,可将多次小对象分配变为一次大对象分配

Balanced GC缺点:会导致内存释放延迟

解决方法:当存活总大小小于一定阈值,就将存活对象用copying GC复制到另一个g中,释放原g绑定的内存

编译器结构:系统软件、分析部分、综合部分

系统软件:识别符合语法和非法的程序,生成正确且高效的代码

分析部分:词法分析,生成词素,语法分析,生成语法树,语义分析,收集类型信息,中间代码生成

综合部分:代码优化,机器无关优化,代码生成,生成目标代码

静态分析:不执行程序代码,推导程序的行为,分析程序的性质

控制流:程序执行的流程

数据流:数据在控制流上的传递

可以通过micro-benmark快速验证性能优化

编译器优化原因:重新编译即可获得性能收益,通用性优化

编译器优化思路:面向后端长期执行任务,用编译时间换取更高效的机器码

函数内联:将被调用函数的函数体的副本替换到调用位置,同时重写代码以反映参数的绑定

逃逸分析:分析代码中指针的动态作用域,指针在何处可以被访问

逃逸分析思路:从对象分配处出发,沿着控制流,观察对象的控制流,若指针p在作用域s作为参数传递给其他函数,若指针p传递给全局变量,若指针p传递给其他goroutine,若指针p传递给已逃逸的指针指向的对象,则指针p指向的对象逃逸出s,反之没有逃逸出s