这是我参与「第五届青训营 」伴学笔记创作活动的第 8 天
一、内存管理及优化
1. Go内存分配
(1)分块
🐷 目标:为对象在heap上分配内存
🐷 提前将内存分块
🏀 调用系统调用 mmap() 向 OS 申请一大块内存,例如 4 MB
🏀 先将内存划分成大块,例如 8 KB,称作 mspan
🏀 再将大块继续划分成特定大小的小块,用于对象分配
🏀 noscan mspan: 分配不包含指针的对象-- GC 不需要扫描需要扫描
🏀 scan mspan:分配包含指针的对象--GC
🐷 对象分配:根据对象的大小,选择最合适的块返回
(2)缓存
🐷 TCMalloc: thread caching
🐷 每个 p 包含一个 mcache 用于快速分配,用于为绑定于 p上的 g 分配对象
🐷 mcache 管理一组 mspan
🐷 当 mcache 中的 mspan 分配完毕,向 mcentral 申请
🐷 带有未分配块的 mspan
🐷 当 mspan中没有分配的对象,mspan会被缓存在mcentral 中,而不是立刻释放并归还给OS
2. Go内存管理优化
🐷 对象分配是非常高频的操作: 每秒分配 GB 级别的内存
🐷 小对象占比较高
🐷 Go 内存分配比较耗时
🏀 分配路径长: g -> m -> p -> mcache -> mspan -> memory block -> return pointer
🏀 pprof: 对象分配的函数是最频繁调用的函数之一
3. 优化方案:Balanced GC
🐷 每个 g 都绑定一大块内存 (1 KB) ,称作 goroutine allocation buffer (GAB)
🐷 GAB 用于 noscan 类型的小对象分配: < 128 B
🐷 使用三个指针维护 GAB: base,end, top
🐷 Bump pointer (指针碰撞) 风格对象分配
🏀 无须和其他分配请求互斥
🏀 分配动作简单高效
🐷 GAB 对于 Go 内存管理来说是一个大对象
🐷 本质: 将多个小对象的分配合并成一次大对象的分配
🐷 问题: GAB 的对象分配方式会导致内存被延迟释放
🏀 解决方案:
🏀 当GAB总大小超过一点阈值时,将GAB存活的对象复制到另外分配的GAB中
🏀 原先的GAB可以释放,避免内存泄漏
🏀 本质:用 copying GC 的算法管理小对象
👨🏫 根据对象的生命周期,使用不同的标记和清理策略
二、编译器和静态分析
1. 编译器的结构
(1)重要的系统软件
🐷识别符合语法和非法的程序
🐷 生成正确且高效的代码
(2)分析部分 (前端 front end)
🐷 词法分析,生成词素(lexeme)
🐷 语法分析,生成语法树
🐷 语义分析,收集类型信息,进行语义检查
🐷 中间代码生成,生成intermediate representation (IR)
(3)综合部分(后端 back end)
🐷 代码优化,机器无关优化,生成优化后的 IR 🐷 代码生成,生成目标代码
2. 静态分析
🐷 静态分析:不执行程序代码,推导程序的行为,分析程序的性质
🐷 控制流(Control flow):程序执行的流程
🐷 数据流(Data flow):数据在控制流上的传递
3. 过程内分析和过程间分析
(1)过程内分析(Intra-procedural analysis)
🐷 仅在过程内部进行分析
(2)过程间分析(Inter-procedural analysis)
🐷 考虑过程调用时参数传递和返回值的数据流和控制流
三、Go编译器优化
👨🏫 为什么做编译器优化
😴用户无感知,重新编译即可获得性能收益
😴通用性优化
👨🏫 现状
😴 采用的优化少
😴 编译时间较短,没有进行较复杂的代码分析和优化
👨🏫 编译优化的思路
😴 场景: 面向后端长期执行任务
😴 Tradeoff: 用编译时间换取更高效的机器码⭐
👨🏫 Beast mode
😴 函数内联⭐
😴 逃逸分析⭐
😴 默认栈大小调整
😴 边界检查消除
😴 循环展开
😴 ......
1. 函数内联(Inlining)
🐷 内联: 将被调用函数的函数体(callee) 的副本替换到调用位置(caller) 上,同时重写代码以反映参数的绑定
🐷 优点
🏀 消除函数调用开销,例如传递参数、保存寄存器等
🏀 将过程间分析转化为过程内分析⭐,帮助其他优化,例如逃逸分析⭐
🐷 缺点
🏀 函数体变大,instruction cache(icache)不友好
🏀 编译生成的Go镜像变大
🐷 函数内联在大多数是况下是正向优化
🐷 内联策略
🏀 调用和被调用函数的规模
2. Beast Mode
🐷 Go 函数内联受到的限制较多
🏀 语言特性,例如 interface, defer 等,限制了函数内联
🏀 内联策略非常保守
🐷 Beast mode: 调整函数内联的策略,使更多函数被内联
🏀 降低函数调用的开销
🏀 增加了其他优化的机会: 逃逸分析
🐷 开销
🏀 Go 镜像增加 ~10%
🏀 编译时间增加
3. 逃逸分析
🐷 逃逸分析: 分析代码中指针的动态作用域: 指针在何处可以被访问
🐷 大致思路
🏀 从对象分配处出发,沿着控制流,观察对象的数据流
🏀 若发现指针 p在当前作用域 s:
😴 作为参数传递给其他函数
😴 传递给全局变量
😴 传递给其他的 goroutine
😴 传递给已逃逸的指针指向的对象
🏀 则指针 p 指向的对象逃逸出 s,反之则没有逃逸出 s
🐷 Beast mode: 函数内联拓展了函数边界,更多的对象不逃逸了
🐷 优化: 未逃逸的对象可以在栈上分配
🏀 对象在栈上分配和回收很快: 移动 sp
🏀 减少在 heap 上的分配,降低 GC 负担