Go 语言内存管理详解｜ 青训营笔记

这是我参与「第五届青训营 」笔记创作活动的第7天

引言

• 性能优化
  • 业务层优化
    • 针对特定场景，具体问题，具体分析
    • 容易获得较大性能收益
  • 语言运行时优化
    • 解决更通用的性能问题
    • 考虑更多场景
    • Tradeoffs
  • 数据驱动
    • 自动化性能分析工具 —— pprof
    • 依靠数据而非猜测
    • 首先优化最大瓶颈

自动内存管理

基本概念

• 自动内存管理：由程序语言的运行时系统管理动态内存
• 避免手动内存管理，专注于实现业务逻辑
• 保证内存使用的正确性和安全性: double-free problem, use-after-free problem
• 三个任务
  • 为新对象分配空间
  • 找到存活对象
  • 回收死亡对象的内存空间

TCMalloc

go内存管理是借鉴了TCMalloc的设计思想，TCMalloc全称Thead-Caching Malloc，是google开发的内存分配器。

TCMalloc参考

简单点理解：从右向左一层一层申请/放回空闲块

Page

操作系统对内存管理以页为单位，TCMalloc也是这样，只不过TCMalloc里的Page大小与操作系统里的大小并不一定相等，而是倍数关系。

Span

一组连续的Page被称为Span，比如可以有4个页大小的Span，也可以有8个页大小的Span，Span比Page高一个层级，是为了方便管理一定大小的内存区域，Span是TCMalloc中内存管理的基本单位。

ThreadCache

每个线程各自的Cache，一个Cache包含多个空闲内存块链表，每个链表连接的都是内存块，同一个链表上内存块的大小是相同的，也可以说按内存块大小，给内存块分了个类，这样可以根据申请的内存大小，快速从合适的链表选择空闲内存块。由于每个线程有自己的ThreadCache，所以ThreadCache访问是无锁的。

CentralCache

是所有线程共享的缓存，也是保存的空闲内存块链表，链表的数量与ThreadCache中链表数量相同，当ThreadCache内存块不足时，可以从CentralCache取，当ThreadCache内存块多时，可以放回CentralCache。由于CentralCache是共享的，所以它的访问是要加锁的。

PageHeap

PageHeap是堆内存的抽象，PageHeap存的也是若干链表，链表保存的是Span，当CentralCache没有内存的时，会从PageHeap取，把1个Span拆成若干内存块，添加到对应大小的链表中，当CentralCache内存多的时候，会放回PageHeap。

TCMalloc对象分配

小对象直接从ThreadCache分配，若ThreadCache不够则从CentralCache中获取内存，CentralCache内存不够时会再从PageHeap获取内存，大对象在PageHeap中选择合适的页组成span用于存储数据。

Go 内存管理

• 目标：为对象在 heap 上分配内存
• 提前将内存分块
  • 调用系统调用 mmap() 向 OS 申请一大块内存，例如 4 MB
  • 先将内存划分成大块，例如 8 KB，称作 mspan
  • 再将大块继续划分成特定大小的小块，用于对象分配
  • noscan mspan: 分配不包含指针的对象 —— GC 不需要扫描
  • scan mspan: 分配包含指针的对象 —— GC 需要扫描
• 对象分配：根据对象的大小，选择最合适的块返回
• 内存缓存
  • Go 内存管理构成了多级缓存机制，从 OS 分配得的内存被内存管理回收后，也不会立刻归还给 OS，而是在 Go runtime 内部先缓存起来，从而避免频繁向 OS 申请内存。

参考

Go 内存管理的问题

mspan, mcache 和 mcentral 构成了内存管理的多级缓存机制。

• 对象分配是非常高频的操作：每秒分配 GB 级别的内存
• 线上 profiling 可以发现，Go 的内存分配占用很多 CPU
• 小对象分配占大多数

优化分配小对象是关键

字节的解决方案：

• Balanced GC
• 核心：将 noscan 对象在 per-g allocation buffer (GAB) 上分配，并使用移动对象 GC 管理这部分内存，提高对象分配和回收效率