这是我参与「第三届青训营 -后端场」笔记创作活动的的第2篇笔记。
本笔记总结了张逸飞老师的「高性能Go语言发行版优化与落地实践」的「Go 内存管理及优化」部分。

Go 内存管理及优化

Go 内存分配| Go 内存管理优化

多亏了 Go 的自动内存管理，我们在编写 Go 程序时，并不需要去管变量的内存是如何申请和释放的，只需要快乐地 new() 就好了。然鹅，Go 在背后是如何实现这一切的？它用了哪些机制？又具有哪些特点？企业内部定制的 SDK 又是如何针对内存管理做优化的？这些问题的答案都会在「高性能Go语言发行版优化与落地实践」的「Go 内存管理及优化」部分得到解答。

Go 内存分配

1. 分块

目标：为对象在heap上分配空间
提前将内存分块
- 调用系统调用 mmap() 向OS申请一大块内存，例如4 MB先将内存划分成大块，例如8 KB，称作 mspan
- 再将大块继续划分成特定大小的小块，用于对象分配
- noscan mspan: 分配不包含指针的对象 —— GC 不需要扫描
- scan mspan: 分配包含指针的对象 —— GC 需要扫描
对象分配：根据对象的大小，选择最合适的块返回

2. 缓存

TCMalloc: thread caching 参考资料：TCMalloc Overview | tcmalloc (google.github.io)
每个 p 包含一个 mcache 用于快速分配，用于为绑定于 p 上的 g 分配对象
mcache 管理一组 mspan
当 mcache 中的 mspan 分配完毕，向 mcentral 申请带有未分配块的 mspan
当 mspan 中有没有分配的对象， mspan 会被缓存在 mcentral 中，而不是立刻释放并归还给OS

Go 内存管理优化

内存分配的特点

对象分配是非常高频的操作：每秒分配GB级别的内存
小对象占比较高
Go 内存分配比较耗时
- 分配路径长：g -> m -> p -> mcache -> mspan -> memory block -> return pointer
- pprof: 对象分配的函数是最频繁调用的函数之一

字节跳动的优化方案：Balanced GC

每个 g 都绑定一大块内存（1 KB），称作 goroutine allocation buffer (GAB)
GAB 用于 noscan 类型的小对象分配：< 128 B
使用三个指针维护 GAB: base, end, top

Bump pointer（指针碰撞）风格对象分配
- 无须和其他分配请求互斥
- 分配动作简单高效

Balanced GC

GAB 对于 Go 内存管理来说是一个对象
本质：将多个小对象的分配合并成一次达对象的分配
问题：GAB 的对象分配方式会导致内存被延迟释放
方案：移动 GAB 中存活的对象
- 当 GAB 总大小超过一定阈值时，将 GAB 中存活的对象复制到另外分配的 GAB 中
- 原先的 GAB 可以释放，避免内存泄漏
- 本质：用 copying GC 的算法管理小对象

 根据对象的生命周期，使用不同的标记和清理策略

Balanced GC —— 性能收益

高峰期 CPU usage 降低 4.6%，核心接口时延下降 4.5%~7.7%

总结

Go 内存管理 —— 分块
Go 内存管理 —— 缓存
Go 对象分配的性能问题
- 分配路径过长
- 小对象居多
Balanced GC
- 指针碰撞风格的对象分配
- 实现了 copying GC
- 性能收益

Go 内存管理及优化 ｜ 青训营笔记