Go 内存管理 & 编译器优化思路 | 青训营笔记

60 阅读5分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 8 天

一、内存管理及优化

1. Go内存分配

(1)分块

🐷 目标:为对象在heap上分配内存

🐷 提前将内存分块

image.png

🏀 调用系统调用 mmap() 向 OS 申请一大块内存,例如 4 MB
🏀 先将内存划分成大块,例如 8 KB,称作 mspan
🏀 再将大块继续划分成特定大小的小块,用于对象分配
🏀 noscan mspan: 分配不包含指针的对象-- GC 不需要扫描需要扫描
🏀 scan mspan:分配包含指针的对象--GC

🐷 对象分配:根据对象的大小,选择最合适的块返回

(2)缓存

image.png 🐷 TCMalloc: thread caching

🐷 每个 p 包含一个 mcache 用于快速分配,用于为绑定于 p上的 g 分配对象

🐷 mcache 管理一组 mspan

🐷 当 mcache 中的 mspan 分配完毕,向 mcentral 申请

🐷 带有未分配块的 mspan

🐷 当 mspan中没有分配的对象,mspan会被缓存在mcentral 中,而不是立刻释放并归还给OS

2. Go内存管理优化

🐷 对象分配是非常高频的操作: 每秒分配 GB 级别的内存

🐷 小对象占比较高

🐷 Go 内存分配比较耗时

🏀 分配路径长: g -> m -> p -> mcache -> mspan -> memory block -> return pointer
🏀 pprof: 对象分配的函数是最频繁调用的函数之一

3. 优化方案:Balanced GC

image.png 🐷 每个 g 都绑定一大块内存 (1 KB) ,称作 goroutine allocation buffer (GAB)

🐷 GAB 用于 noscan 类型的小对象分配: < 128 B

🐷 使用三个指针维护 GAB: base,end, top

🐷 Bump pointer (指针碰撞) 风格对象分配

🏀 无须和其他分配请求互斥
🏀 分配动作简单高效

🐷 GAB 对于 Go 内存管理来说是一个大对象

🐷 本质: 将多个小对象的分配合并成一次大对象的分配

🐷 问题: GAB 的对象分配方式会导致内存被延迟释放

🏀 解决方案:
🏀 当GAB总大小超过一点阈值时,将GAB存活的对象复制到另外分配的GAB中
🏀 原先的GAB可以释放,避免内存泄漏
🏀 本质:用 copying GC 的算法管理小对象
👨‍🏫 根据对象的生命周期,使用不同的标记和清理策略

image.png

二、编译器和静态分析

1. 编译器的结构

image.png

(1)重要的系统软件

🐷识别符合语法和非法的程序

🐷 生成正确且高效的代码

(2)分析部分 (前端 front end)

🐷 词法分析,生成词素(lexeme)

🐷 语法分析,生成语法树

🐷 语义分析,收集类型信息,进行语义检查

🐷 中间代码生成,生成intermediate representation (IR)

(3)综合部分(后端 back end)

🐷 代码优化,机器无关优化,生成优化后的 IR 🐷 代码生成,生成目标代码

2. 静态分析

🐷 静态分析:不执行程序代码,推导程序的行为,分析程序的性质

🐷 控制流(Control flow):程序执行的流程

image.png

🐷 数据流(Data flow):数据在控制流上的传递

3. 过程内分析和过程间分析

(1)过程内分析(Intra-procedural analysis)

🐷 仅在过程内部进行分析

(2)过程间分析(Inter-procedural analysis)

🐷 考虑过程调用时参数传递和返回值的数据流和控制流

三、Go编译器优化

👨‍🏫 为什么做编译器优化

😴用户无感知,重新编译即可获得性能收益
😴通用性优化

👨‍🏫 现状

😴 采用的优化少
😴 编译时间较短,没有进行较复杂的代码分析和优化

👨‍🏫 编译优化的思路

😴 场景: 面向后端长期执行任务
😴 Tradeoff: 用编译时间换取更高效的机器码⭐

👨‍🏫 Beast mode

😴 函数内联⭐
😴 逃逸分析⭐
😴 默认栈大小调整
😴 边界检查消除
😴 循环展开
😴 ......

1. 函数内联(Inlining)

🐷 内联: 将被调用函数的函数体(callee) 的副本替换到调用位置(caller) 上,同时重写代码以反映参数的绑定

🐷 优点

🏀 消除函数调用开销,例如传递参数、保存寄存器等
🏀 将过程间分析转化为过程内分析⭐,帮助其他优化,例如逃逸分析⭐

🐷 缺点

🏀 函数体变大,instruction cache(icache)不友好
🏀 编译生成的Go镜像变大

🐷 函数内联在大多数是况下是正向优化

🐷 内联策略

🏀 调用和被调用函数的规模

2. Beast Mode

🐷 Go 函数内联受到的限制较多

🏀 语言特性,例如 interface, defer 等,限制了函数内联
🏀 内联策略非常保守

🐷 Beast mode: 调整函数内联的策略,使更多函数被内联

🏀 降低函数调用的开销
🏀 增加了其他优化的机会: 逃逸分析

🐷 开销

🏀 Go 镜像增加 ~10%
🏀 编译时间增加

3. 逃逸分析

🐷 逃逸分析: 分析代码中指针的动态作用域: 指针在何处可以被访问

🐷 大致思路

🏀 从对象分配处出发,沿着控制流,观察对象的数据流
🏀 若发现指针 p在当前作用域 s:
    😴 作为参数传递给其他函数
    😴 传递给全局变量
    😴 传递给其他的 goroutine
    😴 传递给已逃逸的指针指向的对象
🏀 则指针 p 指向的对象逃逸出 s,反之则没有逃逸出 s

🐷 Beast mode: 函数内联拓展了函数边界,更多的对象不逃逸了

🐷 优化: 未逃逸的对象可以在栈上分配

🏀 对象在栈上分配和回收很快: 移动 sp
🏀 减少在 heap 上的分配,降低 GC 负担