Go语言内存管理详解|青训营笔记

42 阅读4分钟

这是我参与「第五届青训营 」笔记创作活动的第6天

性能优化的层面

  • 业务代码 业务层优化
  • SDK
  • 基础库
  • 语言运行时 语言运行时优化
  • OS

业务层优化:

  • 针对特定场景,具体问题,具体分析
  • 容易获得较大性能收益

语言运行时优化:

  • 解决更通用的性能问题
  • 考虑更多场景
  • Tradeoffs

数据驱动:

  • 自动化性能分析工具——pprof
  • 依靠数据而非猜测
  • 首先优化最大瓶颈

自动内存管理

动态内存:程序在运行时根据需求动态分配的内存(malloc()) 自动内存管理(垃圾回收):由程序语言的运行时系统管理动态内存

  • 避免手动内存管理,专注于实现业务逻辑
  • 保证内存使用的正确性和安全性(double-free, use-after-free)

三个任务:

  • 为新对象分配空间
  • 找到存活对象
  • 回收死亡对象的内存空间

相关概念:

  • Mutator:业务线程,分配新对象,修改对象指向关系
  • Collector:GC线程,找到存活对象,回收死亡对象的内村空间
  • Serial GC:只有一个collector
  • Parallel GC: 支持多个collectors 同时回收的GC算法
  • Concurrent GC: mutators 和collectors 可以同时执行

评价GC算法:

  • 安全性:不能回收存活的对象
  • 吞吐率: 1- GC时间/程序执行总时间 花在GC上的时间
  • 暂停时间: 业务是否感知
  • 内存开销: GC元数据开销

追踪垃圾回收:

  • 对象被回收的条件:指针指向关系不可达的对象
  • 标记根对象:静态变量、常量、线程栈等
  • 标记:找到可达对象:从跟对象出发,找到所有可达对象
  • 清理:所有不可达对象

清理策略:根据对象的生命周期,采取不同策略

  • Copying GC: 将存活的对象复制到另外的内存空间
  • Mark-sweep GC: 将死亡对象的内存标记为“可分配”, 使用free list管理空闲内存
  • Mark Compact GC: 移动并整理存活对象

分代GC(Generational GC)

  • 分代假说:most objects die young
  • Intuition:很多对象在分配出来后很快就不再使用了
  • 每个对象都有年龄:经历过GC的次数
  • 目的: 针对年轻和老年的对象,制定不同的GC策略,降低整体内存管理的开销
  • 不同年龄的对象处于heap的不同区域

年轻代:

  • 常规的对象分配
  • 存活对象很少,采用 copying GC
  • GC吞吐率高

老年代:

  • 对象趋向于一直活着,反复复制开销较大
  • 采用mark-sweep

引用计数

  • 每个对象都有一个与之关联的引用数目
  • 对象存活的条件: 当且仅当引用数大于0

优点:

  • 内存管理的操作被平摊到程序执行过程中
  • 内存管理不需要了解runtime的实现细节:C++智能指针

缺点:

  • 维护引用技术的开销较大: 通过原子操作保证对引用计数操作的原子性和可见性
  • 无法回收环形数据结构——weak reference
  • 内存开销:引入额外内存空间存储引用数目
  • 回收内存时依然可能引发暂停

Go内存管理及优化

Go内存分配 目标: 为对象在heap上分配内存 提前将内存分块

  • 调用系统调用mmap()向OS申请一大块内存,例如4MB -先将内存划分成大块,例如8KB,成为mspan
  • 再将大块继续划分成特定大小的小块,用于对象分配
  • noscan mspan:分配不包含指针的对象——GC不需要扫描
  • scan mspan: 分配包含指针的对象——GC需要扫描

对象分配: 根据对象的大小,选择最合适的块返回

缓存:

  • 借鉴TCMalloc: thread caching

内存管理优化:

  • 对象分配时高频操作: 线上可能每秒GC级别的内存
  • 小对象占比较高
  • Go内存分配比较耗时

编译器和静态分析

编译器功能:

  • 识别符合语法和非法的程序
  • 生成正确且高效的代码

分析部分(前端):

  • 词法分析,生成词素
  • 语法分析, 生成语法树
  • 语法分析,收集类型信息,进行语义检查
  • 中间代码生成,生成IR

静态分析: 不执行程序代码,推导程序的行为,分析程序的性质。 控制流: 程序执行的流程 数据流: 数据在控制流上的传递 通过分析控制流和数据流,我们可以知道更多关于程序的性质

过程内分析: 仅在函数内部进行分析 过程间分析:考虑函数调用时参数传递和返回值的数据流和控制流

综合部份(后端):

  • 代码优化,机器无关优化,生成优化后的IR
  • 代码生成,生成目标代码