Go 语言内存管理详解 ｜ 青训营笔记

JerryJetC
58 阅读5分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 4 天

本次记录在Go语言内存管理中的一些知识点，总的来说与Java相差不大，但是也有一些额外的知识要掌握。

自动内存管理

  • 动态内存

    • 程序在运行时根据需求动态分配的内存: malloc()

  • 自动内存管理（垃圾回收）：由程序语言的运行时系统管理动态内存

    • 避免手动内存管理，专注于实现业务逻辑
    • 保证内存使用的正确性和安全性：double-free problem, user-after-free problem

  • 三个任务

    • 为新对象分配空间
    • 找到存活对象
    • 回收死亡对象的内存空间

  • 相关概念

    • Mutator： 业务线程，分配新对象，修改对象指定关系

    • Collector：GC线程，找到存活对象，回收死亡对象的内存空间

    • Serial GC：只有一个collector

    • Parallel GC： 支持多个collectors同时回收的GC算法

    • Concurrent GC：mutator(s) 和 collector(s) 可以同时运行

      • Collectors必须感知对象指向关系的改变

  • 追踪垃圾回收

    • 对象被回收的条件：指针指向关系不可达的对象

    • 标记根对象

      • 静态变量、全局变量、常量、线程栈等

    • 标记：找到可达对象

      • 求指针指向关系的传递闭包：从根对象出发，找到所有可达对象

    • 清理：所有不可达对象

      • 将存活对象复制到另外的内存空间(Copying GC)
      • 将死亡对象的内存标记为可分配(Mark-swepp GC)
      • 移动并整理存活对象(Mark-compact GC)

    • 根据对象的生命周期，使用不同的标记和清理策略

  • 分代GC

    • Intuition：很多对象在分配出来后很快就不再使用了

    • 每个对象都有年龄：经历过GC的次数

    • 目的：对年轻何画老年的对象，指定不同的GC策略，降低整体内存管理的开销

    • 不同年龄的对象处于heap的不同区域

    • 年轻代 Young generation

      • 常规的对象分配
      • 由于存货对象很少，可以采用copying collection
      • GC吞吐率很高

    • 老年代 Old generation

      • 对象趋向于一直活着，反复复制开销较大
      • 可以采用mark-sweep collection

  • 引用计数

    • 每个对象都有一个与之关联的引用数目

    • 对象存活的条件：当且仅当引用树大于0

    • 优点

      • 内存管理的操作被平摊到程序执行过程中
      • 内存管理不需要了解runtime的实现细节：C++ 只能指针（smart pointer）

    • 缺点

      • 维护引用计数的开销较大：通过原子操作保证对引用计数操作的原子性和可见性
      • 无法回收环形数据结构——weak reference
      • 内存开销：每个对象都引用的额外内存空间存储引用数目
      • 回收内存时依然可能引发暂停

Go 内存分配

  • 分块

    • 目标：为对象在heap上分配内存

    • 提前将内存分块

      • 调用系统调用mmap（）向os申请一大块内存
      • 先将内存继续划分为特定大小的小块
      • 在将大块继续划分为特定大小的小块， 用于对象分配
      • noscan mspan：分配不包含指针的对象——GC不需要扫描
      • scan mspan：分配包含指针的对象——GC需要扫描

    • 对象分配：根据对象的大小，选择最合适的块返回

  • 缓存

    • TCMalloc：thread caching
    • 每个p包含一个 mcache 用于快速分配，用于为绑定于p上的g分配对象
    • mcache 管理一组 mspan
    • 当 mcache 中的 mspan 分配完毕，向 mcentral 申请带有未分配块的 mspan
    • 当 mspan 中没有分配的对象， mspan 会被缓存在 mcentral 中，而不是立刻释放并归还给 os

  • Balanced GC

    • GAB对于 Go 内存管理来说是一个大对象

    • 本质：将多个小对象的分配合并成一次大对象的分配

    • 问题：GAB 的对象分配方式会导致内存被延迟释放

      • 当 GAB 总大小超过一定阈值时，将 GAB 中存活的对象复制到另外分配的 GAB 中
      • 原先的 GAB 可以释放，避免内存泄漏
      • 本质：用 copying GC 的算法管理小对象

编译器和静态分析

  • 编译器

    • 重要的系统软件

      • 识别符合语法和非法的程序
      • 生成正确而且高效的代码

    • 分析部分

      • 词法分析，生成词素（lexeme）
      • 语法分析，生成语法树
      • 语义分析，收集类型信息，进行语义检查
      • 中间代码生成，生成intermediate representation（IR）

    • 综合部分（后端back end）

      • 代码优化，机器无关优化，生成优化后的IR
      • 代码生成，生成目标代码

  • 静态分析

    • 静态分析：不执行程序代码，推导程序的行为，分析程序的性质
    • 控制流（Control flow）：程序执行的流程
    • 数据流（Data flow）：数据在控制流上的传递

  • 过程内分析和过程间分析

    • 过程内分析：仅在函数内部进行分析

  • 过程间分析

    • 考虑函数调用时参数传递和返回值的数据流和控制流

  • 函数内联（Lnlining）

    • 内联：将被调用函数的函数体（callee）的副本替换到调用位置（caller）上，同时重写代码以返回参数的绑定

    • 优点

      • 消除函数调用开销，例如传递参数、保存寄存器
      • 将过程间分析转化为过程内分析，帮助其他优化，例如逃逸分析

    • 缺点

      • 函数体变大，instruction cache（icache）不友好
      • 编译生成的 Go 镜像变大

    • 函数内联在大多数情况下是正向优化

  • Beast Mode

    • Go 函数内联收到的限制较多

      • 语言特性，例如interface，defer等，限制了函数内联
      • 内联策略非常保守

    • Beast mode：调整函数内联的策略，使更多函数被内联

      • 降低函数调用的开销
      • 增加了其他优化的机会：逃逸分析

    • 开销

      • Go 镜像增加
      • 编译时间变长

  • 逃逸分析

    • 分析代码中指针的动态作用域：指针在何处可以被访问

    • Beast mode：函数内联扩展了函数边界，更多对象不逃逸

    • 优化：未逃逸的对象可以在栈上分配

      • 对象在栈上分配和回收很快：移动 sp
      • 减少在 heap 上的分配，降低 GC 负担
avatar
文章
阅读
粉丝