Go 语言内存管理详解 ｜ 青训营笔记

morningstart
87 阅读4分钟

Go 语言内存管理详解 ｜ 青训营笔记

这是我参与「第五届青训营」伴学笔记创作活动的第 4 天

一、本堂课重点内容

  • go 语言优化
  • 自动内存管理
  • go 内存分配
  • 编译器和静态分析
  • Go 编译器优化

二、详细知识点介绍

性能优化：提升软件系统处理能力，减少不必要的消耗，充分发掘计算机算力

优化层面：业务优化，语言优化

优化可维护性

  • 测试用例：覆盖尽可能多的场景，方便回归
  • 文档：做了什么，没做什么，能达到怎样的效果
  • 隔离：通过选项控制是否开启优化
  • 可观测：必要的日志输出

自动内存管理

  • 动态内存
    • 程序在运行时根据需求动态分配的内存：malloc()
  • 自动内存管理（垃圾回收）:由程序语言的运行时系统管理动态内存
    • 避免手动内存管理，专注于实现业务逻辑
    • 保证内存使用的正确性和安全性：double-free problem,use-after-free problem
  • 三个任务
    • 为新对象分配空间
    • 找到存活对象
    • 回收死亡对象的内存空间

评价 GC

  • 安全性（Safety): 不能回收存活的对象 基本要求
  • 吞吐率（Throughput): 1−GC时间程序执行总时间1-\frac{GC 时间}{程序执行总时间} 花在 GC 上的时间
  • 暂停时间（Pause time):stop the world(STW) 业务是否感知
  • 内存开销（Space overhead) GC 元数据开销

追踪垃圾回收

对象被回收的条件：指针指向关系不可达的对象

  1. 标记根对象
    • 静态变量、全局变量、常量、线程栈等
  2. 标记(并发)：找到可达对象
    • 求指针指向关系的传递闭包：从根对象出发，找到所有可达对象
  3. 清理(并发)：所有不可达对象
    • 将存活对象复制到另外的内存空间（Copying GC)
    • 将死亡对象的内存标记为“可分配“（Mark-sweep GC)
    • 移动并整理存活对象（Mark-compact GC)
  • 根据对象的生命周期，使用不同的标记和清理策略

go 内存分配

Go 内存分配---分块

提前将内存分块

  • 调用系统调用 mmap()向 OS 申请一大块内存，例如 4MB
  • 先将内存划分成大块，例如 8KB, 称作 mspan
  • 再将大块继续划分成特定大小的小块，用于对象分配
  • noscan mspan: 分配不包含指针的对象——GC 不需要扫描
  • scan mspan: 分配包含指针的对象——GC 需要扫描

对象分配：根据对象的大小，选择最合适的块返回

Go 内存分配---缓存

  • TCMalloc: thread caching
  • 每个 p 包含一个 mcache 用于快速分配，用于为绑定于 p 上的 g 分配对象
  • mcache 管理一组 mspan
  • 当 mcache 中的 mspan 分配完毕，向 mcentral 申请带有未分配块的 mspan
  • 当 mspan 中没有分配的对象，mspan 会被缓存在 mcentral 中，而不是立刻释放并归还给 OS

Go 内存管理优化---Balanced GC

问题：

  • 小对象占比高

  • 对象分配路径长

  • 每个 g 都绑定一大块内存（1KB), 称作 goroutine allocation buffer(GAB)

  • GAB 用于 noscan 类型的小对象分配：<128B

  • 使用三个指针维护 GAB:base,end,top

  • Bump pointer(指针碰撞）风格对象分配

    • 无须和其他分配请求互斥
    • 分配动作简单高效

GAB 对于 Go 内存管理来说是一个大对象。

  • 本质：将多个小对象的分配合并成一次大对象的分配
  • 问题：GAB 的对象分配方式会导致内存被延迟释放

方案：移动 GAB 中存活的对象

  • 当 GAB 总大小超过一定间值时，将 GAB 中存活的对象复制到另外分配的 GAB 中
  • 原先的 GAB 可以释放，避免内存泄漏
  • 本质：用 copying GC 的算法管理小对象

缩小了对象分配路径，在路径分配中的资源消耗(CPU)，同时也提升了反应速度(核心接口时延)

Go 编译器优化

为什么做编译器优化

  • 用户无感知，重新编译即可获得性能收益
  • 通用性优化

函数内联

  • 内联：将被调用函数的函数体（callee)的副本替换到调用位置（caller)上，同时重写代码以反映参数的绑定
  • 优点
    • 消除函数调用开销，例如传递参数、保存寄存器等
    • 将过程间分析转化为过程内分析，帮助其他优化，例如逃逸分析

逃逸分析

  • 从对象分配处出发，沿着控制流，观察对象的数据流
  • 若发现指针 p 在当前作用域 s:
    • 作为参数传递给其他函数
    • 传递给全局变量
    • 传递给其他的 goroutine
    • 传递给已逃逸的指针指向的对象
  • 则指针 p 指向的对象逃逸出 s, 反之则没有逃逸出 s

在编译过程中，Go 进行了逃逸分析，以确定哪些可以放入栈（静态数据），哪些需要放入堆（动态数据）。

Beast mode

  • Beast mode: 函数内联拓展了函数边界，更多对象不逃逸
  • 优化：未逃逸的对象可以在栈上分配
    • 对象在栈上分配和回收很快：移动 sp
    • 减少在 heap 上的分配，降低 GC 负担

四、课后个人总结

  • 优化要具有隔离性和可维护性
  • 内联大多数是正向优化，但是也有反向的，例如递归

五、引用参考

avatar
文章
阅读
粉丝