Go语言内存管理 | 青训营笔记

Crave
37 阅读5分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 4 天

性能优化

性能优化的层面

  • 业务代码：具体问题，具体分析，容易获得较大的性能收益
  • SDK
  • 基础库
  • 语言运行时：解决更通用的性能问题，考虑更多场景，Tradeoffs
  • OS

自动内存管理

三个任务

  • 为新对象分配空间
  • 找到存活对象
  • 回收死亡对象的内存空间

相关概念

  • Mutator：业务线程、分配新对象，修改对象指向关系
  • Collector：GC线程，找到存活对象，回收死亡对象的内存空间
  • Serial GC：只有一个collector
  • Parallel GC：支持多个 collectors 同时回收的GC算法
  • Concurrent GC：mutator(s) 和 collector(s) 可以同时进行，Collectors 必须感知对象指向关系的改变

2

追踪垃圾回收

  • 标记根对象

    • 静态变量、全局变量、常量、线程栈等

  • 标记：找到可达对象

    • 求指针指向关系的传递闭包：从根对象出发，找到所有可达对象

  • 清理：所有不可达对象

    • 将存活对象复制到另外的内存空间（Copying GC）
    • 将死亡对象的内容标记为”可分配“（Mark-sweep GC）
    • 移动并整理存活对象（Mark-compact GC）

  • 根据对象的生命周期，使用不同的标记和清理策略

分代 GC （Generational GC）

针对年轻和老年的对象，制定不同的GC策略，降低整体内存管理的开销

  • 年轻代

    • 常规的对象分配
    • 由于存活对象很少，可以采用 copying collection
    • GC吞吐率很高

  • 老年代

    • 对象趋向于一直活着，反复复制开销较大
    • 可以采用 mark-sweep collection

引用计数

  • 每个对象都有一个与之关联的引用数目

  • 对象存活的条件：当且仅当引用数大于0

  • 优点

    • 内存管理的操作被平摊到程序执行过程中
    • 内存管理不需要了解runtime的实现细节：C++智能指针（smart pointer）

  • 缺点

    • 维护引用计数的开销较大：通过原子操作保证对引用计数操作的原子性和可见性
    • 无法回收环形数据结构——weak reference
    • 内存开销：每个对象都引入的额外内存空间存储引用数目
    • 回收内存时依然可能引发暂停

GO 内存管理及优化

分块

  • 目标：为对象在heap上分配内存

  • 提前将内存分块

    • 调用系统调用mmap()向OS申请以大块内存，例如4MB
    • 先将内存划分为大块，例如8KB，称作mspan
    • 再将大块继续划分为特定大小的小块，用于对象分配
    • noscan mspan：分配不包含指针的对象——GC不需要扫描
    • scan mspan：分配包含指针的对象——GC需要扫描

缓存

  • TCMalloc：thread caching
  • 每个p包含一个mcache用于快速分配，用于为绑定与p上的g分配对象
  • mcache管理一组mspan
  • 当mcache中的mspan分配完毕，向mcentral申请带有未分配块的mspan
  • 当mspan中没有分配的对象，mspan会被缓存在mcentral中，而不是立刻释放并归还给OS

Go内存管理优化

分配路径长：g -> m -> p -> mcache -> mspan -> memory block -> return pointer

优化方案：Balanced GC

  • 每个g都绑定一大块内存（1KB），称作 goroutine allocation buffer（GAB）

  • GAB用于noscan类型的小对象分配：<128B

  • 使用三个指针维护GAB：base，end，top

  • Bump pointer（指针碰撞）风格对象分配

    • 无须和其他分配请求互斥
    • 分配动作简单高效

  • 方案：移动GAB中存活的对象

    • 当GAB总大小超过一定阈值时，将GAB中存活的对象复制到另外分配的GAB中
    • 原先的GAB可以释放，避免内存泄露
    • 本质：用copying GC的算法管理小对象

编译器和静态分析

编译器结构

3.jpg

静态分析

  • 静态分析：不执行程度代码，推导程序的行为，分析程序的性质
  • 控制流：程序执行的流程
  • 数据流：数据在控制流上的传递

过程内分析和过程间分析

尽量减少过程间的分析

Go编译器优化

函数内联（lnlining）

  • 内联：将被调用函数的函数体（callee）的副本替换到调用位置上（caller）上，同时重写代码以反映参数的绑定

  • 优点：

    • 消除函数调用开销，例如传递参数、保存寄存器等
    • 将过程分析转化为过程内分析，帮助其他优化，例如逃逸分析

  • 缺点

    • 函数体变大，instruction cache（icache）不友好
    • 编译生成的Go镜像变大

  • 使用 micro-benchmark 快速验证和对比性能优化结果

Beast Mode

  • Go函数内联受到的限制较多

    • 语言特性，例如 interface，defer等，限制了函数内联
    • 内联策略非常保守

  • Beast mode：调整函数内联的策略，使更多函数被内联

    • 降低函数调用的开销
    • 增加了其他优化的机会：逃逸分析

  • 开销

    • Go 镜像增加约10%
    • 编译时间增加

逃逸分析

  • 分析代码中指针的动态作用域：指针在何处可以被访问

  • Beast mode：函数内联拓展了函数边界，更多对象不逃逸

  • 优化：未逃逸的对象可以在栈上分配

    • 对象在栈上分配和回收很快：移动sp
    • 减少在heap上的分配，降低GC负担
avatar
文章
阅读
粉丝