Go内存管理及优化学习笔记 | 青训营笔记

93 阅读2分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 6 天

Go内存分配

分块

  • 目标:为对象在heap上分配内存

  • 提前将内存分块

    • 调用系统调用 mmap() 向OS申请一大块内存,例如4MB
    • 先将内存划分成大块,例如8KB,称作 mspan
    • 再将大块继续划分成特定大小的小块,用于对象分配
    • noscan mspan:分配不包含指针的对象 ———— GC不需要扫描
    • scan mspan:分配包含指针的对象 ———— GC需要扫描
  • 对象分配:根据对象的大小,选择最合适的块返回

缓存

  • TCMalloc:thread caching
  • 每个p包含一个mcache用于快速分配,用于为绑定于p上的g分配对象
  • mcache管理一组mspan
  • 当mcache中的mspan分配完毕,向mcentral申请带有未分配块的mspan
  • 当mspan中没有分配的对象,mspan会被缓存在mcentral中,而不是立刻释放并归还给OS

image.png

Go内存管理优化

  • 对象分配是非常高频的操作:每秒分配GB级别的内存
  • 小对象占比较高
  • Go内存分配比较耗时
    • 分配路径长: g -> m -> p -> mcache -> mspan -> memory block -> return pointer
    • pprof: 对象分配的函数是最频繁调用的函数之一

如何选择合理的优化方式? 回答:采用 Balanced GC 方案

Balanced GC

  • GAB对于GO内存管理来说是一个对象
  • 本质:将多个小对象的分配合并成一次大对象的分配
  • 问题:GAB的对象分配方式会导致内存被延迟释放
  • 方案:移动GAB中存活的对象
    • 当GAB总大小超过一定阈值时,将GAB中存活的对象复制到另外分配的GAB中
    • 原先的GAB可以释放,避免内存泄漏
    • 本质:用 copying GC 的算法管理小对象,即根据对象的生命周期,使用不同的标记和清理策略

总结: 在计算机领域面临的问题之后,将大问题划分成一个个小的问题去解决,或者将一个个细小的问题抽象/整理成一个大实例去解决往往都是一种不错的方法(抽象和分化问题)