这是我参与「第三届青训营 -后端场」笔记创作活动的第5篇笔记。
Go 内存管理及优化
Go 内存分配-分块
-
TCMalloc: TC is short for thread caching
-
目标：为对象在 heap 上分配内存
-
提前将内存分块
- 调用系统调用 mmap() 向 OS 申请一大块内存，例如 4 MB
- 先将内存划分成大块，例如 8 KB，称作 mspan
- 再将大块继续划分成特定大小的小块，用于对象分配
- noscan mspan: 分配不包含指针的对象 —— GC 不需要扫描
- scan mspan: 分配包含指针的对象 —— GC 需要扫描
-
对象分配：根据对象的大小，选择最合适的块返回
Go内存分配-缓存
Go 内存管理构成了多级缓存机制，从 OS 分配得的内存被内存管理回收后，也不会立刻归还给 OS，而是在 Go runtime 内部先缓存起来，从而避免频繁向 OS 申请内存。内存分配的路线图如下。
- TCMalloc: thread caching
- 每个p包含一个mcache用于快速分配，用于为绑定于p上的g分配对象
- mcache管理一组mspan
- 当mcache中的mspan分配完毕，向mcentral申请带有末分配块的mspan
- 当mspan中没有分配的对象，mspan会被缓存在mcentral中，而不是立刻释放并归还给OS
Go 内存管理优化
- 对象分配是非常高频的操作：每秒分配GB级别的内存
- 小对象占比较高
- G0内存分配比较耗时
- 分配路径长：g->m->p->mcache->mspan->memory block->return pointer
- pprof:对象分配的函数是最频繁调用的函数之一
字节跳动的优化方案 Balanced GC
- 每个g都绑定一大块内存（1KB)，称作goroutine allocation buffer(GAB)
- GAB用于noscan类型（对象里不包含指针）的小对象分配：<128B时称为小对象（对象大于128B时还是走的mspan分配，该128根据统计数据设置）
- 使用三个指针维护GAB:base,end,top
- Bump pointer(指针碰撞)风格对象分配
- 无须和其他分配请求互斥
- 分配动作简单高效
goroutine绑定的GAB，base开始地址，top当前使用到的地址，end结束的地址。 例如：要分配一个8B的内存时，top指针向前移动8位即可，不需要向原来一样做很长的扫描。
- GAB对于GO内存管理来说是一个对象
- 本质：将多个小对象的分配合并成一次达对象的分配
当GAB总大小超过一定阈值时，将GAB中存活的对象复制到另外分配的GAB中，原先的GAB可以释放，避免内存泄漏
Balanced GC-性能收益
高峰期CPU usage降低4.6%，核心接口时延下降4.5%~7.7%
