Go 语言内存管理详解 ｜ 青训营笔记

Gerrad
150 阅读4分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 3 天

掘金字节内部课：性能优化及自动内存管理, Go 内存管理 & 编译器优化思路

一、本堂课重点内容：

  • 优化
    • 内存管理优化
    • 编译器优化
  • 背景
    • 自动内存管理和Go内存管理机制
    • 编译器优化的基本问题和思路

PS：这次的预习文档很详细，重复的部分没有记录，需结合阅读

二、详细知识点介绍：

性能优化的层面：

  • 业务层优化
  • 语言运行时的优化：Tradeoffs
  • 数据驱动：pprof

image.png

1. 自动内存管理

1.1 自动内存管理

  • 三个任务：未对象分配新得空间；找到存活对象；为死亡对象回收内存空间

image.png

  • 相关概念：
    • Mutator: 业务线程（goroutine），分配新对象，修改对象指向关系
    • Collector: GC 线程，找到存货对象，回收死亡对象的内存空间
    • Serial GC：只有一个collector
    • Parallel GC：支持多个collectors同时回收
    • Concurrent GC：mutator(s)和collector(s)可以同时进行
      • Collectors 必须感知对象指向关系的改变

image.png

  • 评价GC算法（推荐书籍——《The Garbage Collection Handbook》）
    • 安全性(Safety):不能回收存活的对象——基本要求
    • 吞吐率(Throughput): 1−GC时间程序执行总时间1-\cfrac{GC时间}{程序执行总时间}——花在GC上的时间
    • 暂停时间(Pause time): stop the world (STW)——业务是否感知
    • 内存开销(Space overhead) ——GC元数据开销
  • 两种GC技术：
    • 追踪垃圾回收(Tracing garbage collection)
    • 引用计数(Reference counting)

1.2 追踪垃圾回收

image.png

1.3 分代GC（Generational GC）

  • 分代假说(Generational hypothesis): most objects die young

  • Intuition:很多对象在分配出来后很快就不再使用了

  • 每个对象都有年龄:经历过GC的次数

  • 目的:对年轻和老年的对象，制定不同的GC 策略，降低整体内存管理的开销

  • 不同年龄的对象处于heap的不同区域

  • 年轻代(Young generation)

    • 常规的对象分配
    • 由于存活对象很少，可以采用copying collection
    • GC吞吐率很高

  • 老年代(Old generation)

    • 对象趋向于一直活着，反复复制开销较大
    • 可以采用mark- sweep collection

1.4 引用计数

无法回收环形数据结构、回收内存时依然可能引发暂停：

image.png

2. Go内存管理及优化

2.1 Go内存分配

  • 分块
  • 缓存
    • TCMalloc: thread caching
    • 每个p包含一个mcache用于快速分配，用于为绑定于p上的g分配对象
    • mcache管理一组mspan
    • 当mcache中的mspan分配完毕，向mcentral申请带有末分配块的mspan
    • 当mspan中没有分配的对象，mspan 会被缓存在mcentral中，而不是立刻释放并归还给OS

2.2 Go内存管理优化

  • 对象分配是非常高频的操作:每秒分配GB级别的内存
  • 小对象占比较高
  • Go内存分配比较耗时
    • 分配路径长: g -> m -> p -> mcache -> mspan -> memory block -> return pointer
    • pprof: 对象分配的函数是最频繁调用的函数之一

2.3 字节优化方案：Balance GC

  • 每个g都绑定一大块内存(1 KB)，称作goroutine allocation buffer (GAB)
  • GAB用于noscan类型的小对象分配: < 128 B
  • 使用三个指针维护GAB: base, end, top
  • Bump pointer (指针碰撞)风格对象分配
    • 无须和其他分配请求互斥
    • 分配动作简单高效

image.png

image.png

3. 编译器和静态分析

基本介绍，数据流和控制流，过程内和过程间分析

3.1 编译器的结构

  • 重要的系统软件
    • 识别符合语法和非法的程序
    • 生成正确且高效的代码
  • 分析部分(前端front end)
    • 词法分析，生成词素(lexeme)
    • 语法分析，生成语法树
    • 语义分析，收集类型信息，进行语义检查
    • 中间代码生成，生成intermediate representation (IR)
  • 综合部分(后端 back end)
    • 代码优化，机器无关优化，生成优化后的IR
    • 代码生成，生成目标代码

image.png

本课主要学习编译后端优化

3.2 静态分析

image.png

3.3 过程内分析和过程间分析

image.png

4. Go编译器优化

函数内联、逃逸分析

4.1 函数内联（Inlining）

  • 内联:将被调用函数的函数体(callee)的副本替换到调用位置(caller)上， 同时重写代码以反映参数的绑定
  • 优点
    • 消除函数调用开销，例如传递参数、保存寄存器等
    • 将过程间分析转化为过程内分析，帮助其他优化，例如逃逸分析

image.png

image.png

  • 缺点
    • 函数体变大，instruction cache (icache)不友好
    • 编译生成的Go镜像变大
  • 函数内联在大多数情况下是正向优化
  • 内联策略
    • 调用和被调函数的规模
    • ...

4.2 Beast Mode 与 逃逸分析

  • Go函数内联受到的限制较多
    • 语言特性，例如interface, defer等，限制了函数内联
    • 内联策略非常保守
  • Beast mode:调整函数内联的策略，使更多函数被内联
    • 降低函数调用的开销
    • 增加了其他优化的机会:逃逸分析
  • 开销
    • Go镜像增加~10%
    • 编译时间增加
  • 逃逸分析
  • Beast mode:函数内联拓展了函数边界，更多对象不逃逸
avatar
文章
阅读
粉丝