go 内存分配 | 青训营笔记

118 阅读2分钟

这是我参与「第三届青训营 -后端场」笔记创作活动的第5篇笔记。

Go内存管理及优化

1.1Go内存分配——分块

目标:为对象在heap上分配内存

提前将内存分块

  • 调用系统调用mmap()向OS申请一大块内存,例如4MB
  • 先将内存划分为大块,例如8KB,称作mspan
  • 再将大块继续划分为特定大小的小块,用于对象分配
  • noscan mspan:分配不包含指针的对象——GC不需要扫描
  • scan mspan:分配包含指针的对象——GC需要扫描

对象分配:根据对象的大小,选择最合适的块返回

image.png

1.2Go内存分配——缓存

TCMalloc:thread caching

每个p包含一个mcache用于快速分配,用于为绑定于p上的g分配对象

mcache管理一组mspan

当mcache中的mspan分配完毕,向mcentral申请带有未分配块的mspan

当mspan中没有分配的对象,mspan会被缓存在mcentral中,而不是立即释放并归还给OS

image.png

2.3Go内存管理优化

对象分配是非常高频的操作:每秒GB级别的内存

小对象占比较高

Go内存分配比较耗时

  • 分配路径长:g->m->p->mcache->mspan->memory block->return pointer
  • pprof:对象分配的函数是最频繁调用的函数之一

2.4字节优化方案:Balanced GC

每个g都绑定一大块内存(1KB),称作 goroutine allocation buffer(GAB)

GAB用于noscan类型的小对象分配:<128B

使用三个指针维护GAB:base,end,top

Bump pointer(指针碰撞)风格对象分配

  • 无须和其他分配请求互斥
  • 分配动作简单高效

image.png GAB对于Go内存管理来说是一个大对象

本质:将多个小对象的分配合并成一次大对象的分配

问题:GAB的对象分配方式会导致内存被延迟释放

image.png

方案:移动GAB中存活的对象

  • 当GAB总大小超过一定阈值时,将GAB中存活的对象复制到另外分配的GAB中
  • 原先的GAB可以释放,避免内存泄漏
  • 本质:用copying GC的算法管理小对象(根据对象的生命周期,使用不同的标记和清理策略)

image.png