高性能 Go 语言发行版优化与落地实践 ｜ 青训营笔记

KLEEEEE
84 阅读5分钟

这是我参与「第三届青训营 -后端场」笔记创作活动的的第3篇笔记

自动内存管理

  1. 动态内存
    程序运行时分配的内存 malloc()
  2. 自动内存管理（垃圾回收）
    由程序语言的运行时系统管理动态内存
    1. 避免手动内存管理，专注业务逻辑
    2. 保证内存使用 正确性 和 安全性
  3. 三个任务
    • 为新对象分配空间
    • 找到存活对象
    • 回收死亡对象的内存空间
  4. 相关概念
    • Mutator ： 业务线程，分配新对象，改变对象指向关系
    • Collector ： GC线程，找到存活对象，回收死亡对象内存空间
    • Serial GC ： 只有一个Collector
    • Parallel GC ： 支持多个Collectors同时进行垃圾回收的GC算法
    • Concurrent GC ： Mutator(s) 和 Collector(s) 可以 同时执行
      • Collectors 必须改制对象指向关系的改变
      • 三色标记算法
        image.png
    • 评价GC算法
      • 安全性（Safety） ： 不能回收存活对象 基本要求
      • 吞吐率（Throughput） ： 1−GC时间程序执行总时间1 - \frac{ GC 时间 }{ 程序执行总时间 } 花在GC上的时间
      • 暂停时间（Pause Time） ： STW是否让业务感知
      • 内存开销（Space overhead） ： GC元数据开销
    • 追踪垃圾回收
    • 引用计数

追踪垃圾回收

  1. 对象被回收条件：指针指向关系不可达的对象 （可达性分析？）
  2. 操作：
    • 标记根对象
      静态变量、全局变量、常量、线程栈
    • 标记：找到可达对象
      求指针指向关系的传递闭包：从根对象出发，找到所有可达对象
    • 清理：清理所有不可达对象
      • 复制算法（Copying GC）
      • 清除算法（Mark-sweep GC）
      • 整理算法（Mark-compact GC） 根据对象的生命周期，使用不同的标记和清理策略

分代GC

  • 分代假说： 大多数对象很快就会死掉
  • Intuition： 很多对象在分配之后很快就不使用了
  • 年龄： 每个对象经历过一次GC，年龄加一
  • 分代目的： 针对年轻和老年的对象，采用不同GC策略， 降低整体内存管理开销
  • 分代分区： 不同年龄分代的对象在heap的不同区域
  • 年轻代
    • 常规对象分配
    • 对象存活率低，采用复制算法
    • GC吞吐率高
  • 老年代
    • 对象趋于一直存活，反复复制开销大
    • 采用复制算法或整理算法

引用计数

  • 每个对象有一个与之关联的引用数目
  • 对象存活条件：当且仅当饮用大于0
  • 优点
    • 内存管理的操作被平摊带程序执行过程中
    • 内存管理不需要了解runtime的实现细节：C++智能指针
  • 缺点
    • 维护引用计数开销较大：维护引用计数需要使用 原子操作 保证引用计数操作的 原子性 和 可见性
    • 无法处理循环引用——weak reference
    • 内存开销：每个对象引入额外的内存空间存储引用数目
    • 内存回收依然可能引发STW

Go内存管理及优化

内存分配

分块

  • 目标： 为对象在heap上分配内存
  • 提前将内存分块
    • 调用系统调用mmap()向OS申请一大块内存，例如4MB
    • 现将内存划分长大块，例如8KB，称作mspan
    • 再讲大块继续划分成特定大小的小块，用于对象分配
    • noscan mspan：分配的对象不包含指针——GC不需要扫描
    • scan mspan：分配的对象包含指针——GC需要扫描
  • 对象分配：根据对象的大小，选择最合适的块返回

缓存

  • TCMalloc：Thread Caching
  • 每个 p 包含一个 mcache 用于快速分配，用于为绑定于 p 上的 g 分配对象
  • mcache 管理一组 mspan
  • 当 mcache 中的 mspan 分配完毕，向 mcentral 申请带有未分配块的 mspan
  • 当 mspan 中没有分配的对象， mspan 会被缓存在 mcentral 中， 而不是立即释放并归还 OS

内存管理优化

  • 对象分配是非常高频的操作：每秒分配GB级别的内存
  • 小对象占比较高
  • Go内存分配比较耗时
    • 分配路径长：g -> m -> p -> mcache -> mspan -> memory block -> return pointer
    • pprof：对象分配的函数是最频繁调用的函数之一

编译器和静态分析

  • 编译器的结构和编译的流程
  • 编译器后端优化
  • 静态分析
    • 数据流分析和控制流分析
    • 过程内分析和过程间分析

Go编译器优化

函数内联

  • 内联：将被调用的函数的函数体（callee）的副本替换到调用位置（caller）上，同时重写代码以反映参数的绑定
  • 优点
    • 消除函数调用开销，例如参数传递、保存寄存器
    • 将过程间分析转化为过程内分析，帮助其他优化，例如逃逸分析
  • 缺点
    • 函数体变大，instruction cache （icache）不友好
    • 编译生成的Go镜像变大
  • 函数内联大多数情况是正向优化
  • 内联策略
    • 调用和被调用函数的规模
    • 。。。

逃逸分析

  • 逃逸分析：分析代码中指针的动态作用域：指针在何处可以被访问
  • 大致思路：考虑某个对象在某个作用域之外能否访问
    • 从对象分配处出发，沿着控制流，观察对象的数据流
    • 若发现指针 p 在当前作用域 s ：
      • 作为参数传递给其他函数
      • 传递给全局变量
      • 传递给其他的goroutine
      • 传递给已逃逸的指针指向的对象
    • 则指针 p 指向的对象逃逸出 s ， 反之则没有逃逸出 s
avatar
文章
阅读
粉丝