Go 语言内存管理详解 ｜ 青训营笔记

这是我参与「第五届青训营」伴学笔记创作活动的第 4 天

今日内容

学习完了青训营课程 后端入门 - Go 语言原理与实践 中的 性能优化及自动内存管理 和 Go 内存管理 & 编译器优化思路 之后的一些总结。

课程内容

1. 自动内存管理
2. Go 内存管理及优化
3. 编译器和静态分析
4. Go 编译器优化

性能优化的层面

• 业务层优化
  • 针对特定场景，具体问题，具体分析
  • 容易获得较大性能收益
• 语言运行时优化
  • 解决更通用的性能问题
  • 考虑更多场景
  • Tradeoffs
• 数据驱动
  • 自动化性能分析工具 pprof
  • 依靠数据而非猜测
  • 首先优化最大瓶颈

性能优化与软件质量

• 软件质量至关重要
• 在保证接口稳定的前提下改进具体实现
• 测试用例：覆盖尽可能多的场景，方便回归
• 文档：做了什么，没做什么，能达到怎么样的效果
• 隔离：通过选项控制是否开启优化
• 可观测：必要的日志输出

1. 自动内存管理

1.1 自动内存管理

• 动态内存：程序在运行时根据需求动态分配的内存
• 自动内存管理（垃圾回收）：由程序语言的运行时系统管理动态内存
  • 避免手动内存管理，专注于实现业务逻辑
  • 保证内存使用的正确性和安全性（double free, use after free）
• 三个任务
  • 为新对象分配空间
  • 找到存活对象
  • 回收死亡对象的内存空间

一些概念

• Mutator：业务线程，分配新对象，修改对象指向关系
• Collector：GC 线程，找到存活对象，回收死亡对象的内存空间
• Serial GC：只有一个 collector
• Parallel GC：支持对个 collectors 同时回收的 GC 算法
• Concurrent GC：mutator(s) 和 collector(s) 可以同时执行

Collectors 必须感知对象指向关系的改变

• 评价 GC 算法
  • 安全性（Safety）：不能回收存活的对象
  • 吞吐率（Throughput）：$1-\frac{GC时间}{程序执行总时间}$
  • 暂停时间（Pause time）：stop the world
  • 内存开销（Space overhead）
• 追踪垃圾回收（Tracing garbage collection）
• 引用计数（Reference counting）

1.2 追踪垃圾回收

• 对象被回收的条件：指针指向关系不可达的对象
• 标记根对象
  • 静态变量、全局变量、常量、线程栈等
• 标记：找到可达对象
  • 求指针指向关系的船体必报：从根对象出发，找到所有可达对象
• 清理：所有不可达对象
  • 将存货对象复制到另外的内存空间（Copying GC）
  • 将死亡对象的内存标记为“可分配”（Mark-sweep GC）
  • 移动并整理存活对象（Mark-compact GC）
• 根据对象的生命周期，使用不同的标记和清理策略

1.3 分代 GC（Generational GC）

1.4 引用计数

2. Go 内存管理及优化

2.1 Go 内存分配 - 分块

• 目标：为对象在 heap 上分配内存
• 提前将内存分配
  • 调用系统调用 mmap() 想 OS 申请一大块内存，例如 4 MB
  • 先将内存划分成大块，例如 8KB，乘坐 mspan
  • 再将大块继续划分成特定大小的小块，用于对象分配
  • noscan mspan：分配不包含指针的对象（GC 不需要扫描）
  • scan mspan：分配包含指针的对象（GC 需要扫描）
• 对象分配：根据对象的大小，选择最合适的块返回

2.2 Go 内存分配 - 缓存

2.3 Go 内存管理优化

• 对象分配是非常高频的操作
• 小对象占比较高
• Go 内存分配比较好使
  • 分配路径长：g -> m -> p -> mcahce -> mspan -> memory block -> return pointer
  • pprof：对象分配的函数是最频繁调用的函数之一

2.4 Balanced GC

3. 编译器和静态分析

3.1 编译器的结构

• 重要的系统软件
  • 识别符合语法和非法的程序
  • 生成正确且高效的代码
• 分析部分（前端 frontend）
  • 词法分析，生成词素
  • 语法分析，生成语法树
  • 语义分析，收集类型信息，进行予以检查
  • 中间代码生成，生成 intermediate representation
• 综合部分（后端 backend）
  • 代码优化，机器无关优化，生成优化后的 IR
  • 代码生成，生成目标代码

3.2 静态分析

• 静态分析：不执行程序代码，推导程序的行为，分析程序的性质
• 控制流：程序执行的流程
• 数据流：数据在控制流上的传递
• 通过分析控制流和数据流可以知道更多关于程序的性质

3.3 过程内分析和过程间分析

• 过程内分析：仅在函数内部进行分析
• 过程间分析：考虑函数调用时参数传递和返回值的数据流和控制流

4. Go 编译器优化

4.1 函数内联（inlining）

• 内联：将被调用函数的函数体（callee）的副本替换到调用位置（caller）上，同时重写代码以反映参数的绑定
• 优点：
  • 消除函数调用开销，例如传递参数、保存寄存器等
  • 将过程间分析转化为过程内分析，帮助其他优化，例如逃逸分析
• 缺点：
  • 函数体变大，instruction cache 不优化哦
  • 编译生成的 Go 镜像变大
• 函数内联在大多数情况下是正向优化
• 内联策略
  • ...

4.2 Beast Mode

• Go 函数内联受到的限制很多
  • 语言特性，例如 interface，defer 等，限制了函数内联
  • 函数内联策略非常保守
• Beast mode：调整函数内联的策略，使更多函数被内联
  • 降低函数调用的开销
  • 增加了其他优化的机会：逃逸分析
• 开销
  • Go 镜像增加 10%
  • 编译时间增加

4.3 逃逸分析

• 逃逸分析：分析代码中指针的动态作用域：指针在何处可以被访问
• 大致思路
  • 从对象分配处出发，沿着控制流，观察对象的数据流
  • 若发现指针 p 在当前作用域 s：
    • 作为参数传递给其他函数
    • 传递给全局变量
    • 传递给其他的 goroutine
    • 传递给已逃逸的指针指向的对象
  • 则指针 p 指向的对象逃逸出 s，反之则没有逃逸出 s
• Beast mode：函数内联扩展了函数边界，更多对象不逃逸
• 优化：未逃逸的对象可以在栈上分配
  • 对象在栈上分配和回收很快：移动 sp
  • 减少在 heap 上的分配，降低 GC 负担