Go语言内存管理与编译器性能优化｜ 青训营笔记

steak0107
138 阅读10分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第6天。

自动内存管理

先介绍几个基本概念：

一般语言中自动管理的内存是动态内存。

动态内存：程序在运行时根据需求动态分配的内存,比如C++中的malloc()函数(是手动分配内存的哦)

自动内存管理又称为垃圾回收(garbage collection，简称GC)，是由程序语言的运行时的系统管理动态内存，由此使得开发者避免手动内存管理，而专注于实现业务逻辑，提升开发效率，且保证了内存使用的正确性和安全性。

内存泄露(Memory leak)

内存泄露是指程序中己动态分配的堆内存由于某种原因程序未释放或无法释放，造成系统内存的浪费，导致程序运行速度减慢甚至系统崩溃等严重后果。

内存泄露会导致内存溢出，无法继续申请内存空间，因为内存已经占满了。

相关概念

Mutator:业务线程，在不断分配新对象，修改对象指向关系
Collector:GC线程，执行代码时，找到存活对象，回收死亡对象的内存空间

评价GC算法的指标

  • 安全性(Safety): 不能回收存活的对象 ---> 基本要求，Collectors 必须能感知对象指向关系的改变

  • 吞吐率(Throughput): GC时间/程序执行总时间 ---> 花在GC上的时间

  • 暂停时间(Pause time): stop the world ---> 业务是否感知(暂停时间越短越好，业务就感知不到暂停了)

  • 内存开销(Space overhead) ---> GC元数据开销

三种GC算法

Serial GC

image.png
该算法中只有一个Collector，当要进行垃圾回收时，会中断业务线程的执行，使一个GC线程去标记存活的对象和回收已经死亡的对象的内存空间，该算法由于是串行执行的，且会中断业务线程的执行，故性能不高，且暂停时间较长。

Parallel GC

image.png
该算法支持多个Collector同时回收GC算法，当进行垃圾回收时，虽然还是会暂停业务线程，但由于有多个GC可以同时进行垃圾回收，吞吐率较低，故性能较高。

Concurrent GC

image.png
该算法中mutators(s) 和 collector(s)可以同时执行，使得用户线程和垃圾回收可以同时执行，即没有了暂停时间，且GC线程的数量多，性能高，暂停时间的感知度低。

GC常见的两种技术

追踪垃圾回收(Tracing garbage collection)

对象被回收的条件：指针指向关系不可达的对象

回收步骤

1.标记根对象
静态变量、全局变量、常量、线程栈等(因为它们必然是存活的，不会被回收)

image.png
2.标记找到所有可达的对象
求指针指向关系的传递闭包：从根对象出发，找到所有可达对象，即根对象指向的对象也是存活的

image.png
3.清理所有不可达的对象
即清理掉所有未扫描到的对象 image.png

GC清理对象的三种方式

1.将存活对象复制到另外的内存空间(Copying GC)
则原来的区域就可以清空了，接下来可继续用来分配

image.png 2.将死亡对象的内存标记为“可分配”(Mark-sweep GC)
使用free list管理空闲内存，在其中找一块可用于内存分配

image.png 3.移动并整理存活对象(Mark-compact GC)(原地整理对象)
若没有额外内存空间，把存活的对象拷贝到空间头部，后续对象的内存分部则在其之后

image.png

分代GC(Generational GC)

分代假说：Most objects die young
而分代GC是一种GC处理策略。 其核心思想是：根据对象的生命周期(年龄)，使用不同的标记和清理策略，不同年龄对象处于heap的不同区域，以降低整体内存管理的开销。

一个对象的年龄是指：其经历过的GC的次数，或者说活过了几次GC的回收。

image.png

对于年轻代
  • 常规的对象分配
  • GC吞吐率很高
  • 由于存活对象很少，可以采用copying collection
对于老年代
  • 对象趋向于一直活着，反复复制开销较大
  • 可以采用mark-sweep collection，原地copy的开销较小。

引用计数

管理方式：给每一个对象都有一个与之关联的引用数目
对象存活的条件：当且仅当引用数大于0。

image.png 每一个对象都有指向它的引用数，用于判断是否该对象可以被回收。

优点

  • 内存管理的操作被平摊到了程序的执行过程中
  • 内存管理不需要了解runtime的实现细节：类似于C++智能指针(smart pointer)(帮助自动内存管理的库)

缺点

  • 维护引用计数的开销较大：因为通过原子操作(开销比较大)保证对引用计数操作的原子性和可见性
  • 无法回收环形数据结构 ---> 解决方法：weak reference
  • 内存开销：每个对象都引入的额外内存空间存储引用数目
  • 回收内存时依然可能引发暂停

Go内存管理优化

内存分配-分块思想

Go内存分配的核心思想是： 分块
下图为一块mspan的不同分法： image.png

目标：为对象在heap上分配内存
做法：提前将内存分块，在有分配需求时，会找一块与对象尺寸最接近的块分配给它
分块的步骤是：

  1. 调用系统 调用mmap向OS申请一大块内存，例如4MB
  2. 先将内存分为大块，例如8KB，称作mspan
  3. 再将大块继续划分成特点大小的小块，用于对象分配
  4. noscan mspan:分配不包含指针的对象 ---> GC不需要扫描
  5. scan mspan:分配包含指针的对象 ---> GC需要扫描

对象分配：根据对象的大小，在mspan中选择最合适的块返回。

内存分配-缓存

go的内存分配思想借鉴了TCMalloc(一种内存分配器)
TC:thread caching

image.png g：goroutine,执行内存是用goroutine中分一块内存
m：mmap

过程解读

  • 每个p包含一个mcache(一种存储了mspan的数据结构)用于快速分配，用于为绑定于p上的g分配对象
  • 每个mcache管理一组mspan
  • 当mcache中的mspan分配完毕(即mcache被分配满了)，向mcentral(mcache的下级)申请带有未分配块的mspan再装入mcache
  • 当mspan中没有分配对象，也就是其中没有mspan块了，空间会被缓存在mcentral中，而不是立即释放并归还给OS，留给之后可能出现的对象使用

内存管理优化

Go的内存管理机制有一些问题是可以优化的：

  • 对象分配是非常高频的操作：每秒分配GB级别的内存(尤其体现在线上)
  • 小对象占比较高
  • Go内存分配比较耗时
    分配路径长：g -> m -> p -> mcache -> mspan -> memory block -> return pointer
    pprof: 对象分配的函数(runtime.mallocgc)是最频繁调用的函数之一

优化方案：Balanced GC

这是由字节跳动技术团队研制的Go语言内存优化方案。

实现方法

image.png

  • 每个g都绑定一大块内存(1KB)，称作goroutine allocation buffer(GAB)
  • GAB用于noscan类型的小对象分配：< 128B
  • 使用3个指针维护GAB:base(首地址),end(末尾地址),top(当前使用到的地址)
  • Bump pointer (指针碰撞)风格对象分配
// 分配逻辑，size为对象的大小
if top + size <= end {   // 如果能进入则该GAB可以为对象分配内存
   addr := top
   top += size
   return addr
}

由此，实现了内存中无须和其他分配请求互斥，不需要走分配路径，直接操作TOP指针即可分配内存出去，减少了耗时，分配动作简单高效。

  • GAB对于Go内存管理来说是一个大对象
  • 本质：将多个小对象的分配合并成一次大对象的分配
  • 问题：GAB的对象分配方式会导致内存被延迟释放，即只要有一个对象存活，整个GAB都会被认为是存活的

对于由于小对象存活造成的内存浪费问题的解决方案：

image.png

把GAB中存活的小对象移除大空间，并释放空间。

  • 当GAB总大小低于一定阈值时，将GAB中存活的对象复制到另外分配的GAB中
  • 原先的GAB可以释放，避免内存泄露
  • 本质：用copying GC的算法管理小对象

编译器优化

编译器与静态分析

编译器基本介绍

功能：识别符合语法和非法的程序，针对不同平台，生成正确且高效的代码
其重要分为两部分，前端与后端

image.png

分析部分(前端 front end)：

  • 词法分析：生成词素(lexeme)
  • 语法分析：生成语法树
  • 语义分析：收集类型信息，进行语义检测
  • 中间代码生成：生成intermediate representation(IR)

综合部分(后端 back end):

  • 代码优化：机器无关优化，生成优化后的IR
  • 代码生成：生成目标代码

静态分析

静态分析是不执行程序代码，推导程序的行为，分析程序的性质，类似于代码走查。

分析的是控制流、数据流：
控制流(Control flow):程序执行的流程，即流程图(Control-flow-graph)

image.png
数据流(Data flow):数据在控制流上的传递，比如一个变量在执行完某个函数、某个分支后值的变化。

根据分析出的性质来做优化。

分析方式分为过程内分析和过程间分析：
过程内分析(Intra-procedural analysis)：仅在函数内部进行分析，即在一个函数中就能分析出所分析范围的控制流与数据流
过程间分析(Inter-procedural analysis)：要考虑函数调用时参数传递和返回值的数据流和控制流

编译器优化

优化的意义：

  • 用户无感知，重新编译即可获得性能收益
  • 是通用性优化，可以提升所有该语言使用者的程序性能

函数内联

内联：将被调用函数的函数体(callee)的副本替换到调用位置(caller)上，同时重写代码以反映参数的绑定，也就是说，将原本函数中所要调用的函数的逻辑在本函数内实现，省去了调用过程。

优点：

  • 消除函数调用开销，例如传递参数、保存寄存器等
  • 将过程间分析转化为过程内分析，帮助其他优化，例如逃逸分析

缺点：

  • 函数体变大，instruction cache(icache)不友好
  • 编译生成的Go镜像变大

但函数内联在大多数情况下是正向优化，性能上会有显著提升。

关于函数内联的优化，朋友们可以考虑使用字节的开源解决方案Beast Mode，其能调整函数内联的策略，使更多函数被内联，降低函数调用的开销，增加了其他优化的机会，如逃逸分析。有兴趣的朋友可以自行去了解和下载。

逃逸分析

逃逸分析是指分析代码中指针的动态作用域：判断指针在何处可以被访问。
大致思路是这样的：

  • 从对象分配处出发，沿着控制流，观察对象的数据流
  • 若发现指针p在当前作用域s出现以下几种情况:
    • 作为参数传递给其他函数
    • 传递给全局变量
    • 传递给其他的goroutine
    • 传递给已逃逸的指针指向的对象

则指针p指向的对象逃逸出s，反之则没有逃逸出s。

优化：

  • 未逃逸的对象可以在栈上分配
  • 对象在栈上分配和回收很快：移动sp
  • 减少在heap上的分配，降低GC负担

所以不逃逸会提升编译器的性能，可以作为编译器中可优化的地方。

以上内容若有不正之处，恳请您不吝指正！

avatar
文章
阅读
粉丝