ycgg的GO语言之路Day05——性能优化及自动内存管理｜ 青训营笔记

用户3295945537528
65 阅读6分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 5 天

Day05——性能优化及自动内存管理

01.自动内存管理

管理的是动态内存，也就是程序根据需求动态分配的内存，比如C语言中的malloc（）

自动内存管理可以让程序员专注于开发，保证程序的正确性和安全性

主要有3个任务

  • 为新对象分配空间
  • 找到存活对象
  • 回收死亡对象的内存空间

相关概念

Mutator:业务线程，分配新对象，修改对象指向关系

Collector: GC 线程，找到存活对象，回收死亡对象的内存空间

Serial GC:只有一个collector，执行collector时会暂停mutator，执行完后，继续mutator执行

Parallel GC:支持多个collectors同时回收的GC算法，会多个collector同时执行

Concurrent GC: mutator(s)和collector(s)可以同时执行，但是必须时刻改制对象指向关系的改变，防止意外回收一些还在存活的对象

image-20230120142519274.png

如何评价GC算法，可以从以下方面：

  • 安全性(Safety):不能回收存活的对象基本要求
  • 吞吐率：1-花在GC的时间/程序执行总时间（即花在GC上的时间越少越好）
  • 暂停时间：业务是否感知
  • 内存开销：GC所用的额外的内存

追踪垃圾回收

对象被回收的条件:指针指向关系不可达的对象

具体操作：

首先标记根对象：静态变量、全局变量、常量、线程栈等

标记:找到可达对象，求指针指向关系的传递闭包:从根对象出发，找到所有可达对象

清理:所有不可达对象，即图中白色虚线

根据对象的生命周期，使用不同的标记和清理策略

image-20230120143822864.png

分代GC（Generational GC）

每个对象都有年龄:经历过GC的次数

按对象的年龄对对象进行分类，处于不同的Heap区域，指定不同的GC策略来降低内存管理的开销

image-20230120144353020.png

年轻代：

常规的对象分配，由于存活对象很少，可以采用copying collection，GC吞吐率很高

image-20230120144455054.png

老年代：

对象趋于一直活着，反复复制开销很大

可以采用mark-sweep collection

image-20230120144605653.png

引用计数

每个对象都有一个与之关联的引用数目

对象存活的条件:当且仅当引用数大于0

优点：

内存管理的操作被平摊到程序执行过程中

不需要了解实现细节

缺点：

  • 维护开销大，通过原子操作保证对引用计数操作的原子性和可见性

  • 无法回收环形结构

image-20230120144942933.png

  • 内存开销：每个对象都要引入额外的内存空间存储引用数目

  • 回收内存时还是会引发暂停

02.GO内存管理及优化

1.Go内存分配——分块

为对象在heap上分配内存：

调用系统调用mmap(向OS申请一大块内存，例如4 MB

先将内存划分成大块，例如8 KB，称作mspan

再将大块继续划分成特定大小的小块，用于对象分配

第一种类型：noscan mspan:分配不包含指针的对象———GC不需第二种类型：要扫播scan mspan:分配包含指针的对象——GC需要扫描

2.Go内存分配——缓存

通过多级缓存来加快速度

TCMalloc: thread caching

每个p包含一个mcache 用于快速分配，用于为绑定于p上的g分配对象

mcache管理一组mspan

当mcache中的 mspan 分配完毕，向mcentral 申请带有未分配块的mspan

当mspan中没有分配的对象，mspan 会被缓存在mcentral中，而不是立刻释放并归还给OS

image-20230120152939315.png

对象分配是高频操作，每秒GB级别

小对象占比较高

Go分配内存耗时较长，分配路径较长

优化方案

每个g都绑定一大块内存(1 KB)，称作GAB用于noscan类型的小对象分配:<128 B

使用三个指针维护 GAB: base, end,top

image-20230120153734332.png

Bump pointer(指针碰撞）风格对象分配

优点：

  • 无须和其他分配请求互斥
  • 分配动作简单高效

GAB对于Go的内存管理就相当于一个大对象，本质上是将多个小对象的分配合并成一次大对象的分配

但是缺点就是，如果一个GAB中有一个对象存活就会使GAB存活，导致其他空间延迟释放

解决方案：方案:移动GAB中存活的对象

当GAB总大小超过一定阈值时，将GAB中存活的对象复制到另外分配的GAB中，原先的GAB可以释放，避免内存泄漏

本质:用copying GC的算法管理小对象

03.编译器和静态分析

编译器：识别符合语法和非法的程序并生成正确且高效的代码

image-20230120154503133.png

静态分析:不执行程序代码，推导程序的行为,分析程序的性质。

控制流 : 程序执行的流程，类似流程图分析

数据流 : 数据在控制流上的传递

image-20230120154850867.png

过程内分析：仅在函数内部进行分析

过程间分析：考虑函数调用时参数传递和返回值的数据流和控制流

过程间分析要具体做数据流分析和控制流分析，比较复杂

04.Go编译器优化

编译器优化：用户无感知，重新编译即可获得性能收益并且是通用性优化

采用的优化少，编译时间较短，没有进行较复杂的代码分析和优化

场景:面向后端长期执行任务，用编译时间换取更高效的机器码

函数内联：

内联:将被调用函数的函数体的副本替换到调用位置上，同时重写代码以反映参数的绑定

优点：消除函数调用开销，例如传递参数、保存寄存器等。将过程间分析转化为过程内分析。帮助其他优化。例如逃逸分析

缺点：函数体变大，编译生成的镜像变大

但是不能无休止内联，要根据优化策略适当进行函数内联

Beast Mode

Go函数内联受到的限制较多，语言特性，例如interface, defer等，限制了函数，内联内联策略非常保守

Beast mode了调整函数内联的策略，使更多函数被内联，降低函数调用的开销，增加了其他优化的机会:逃逸分析

逃逸分析

逃逸分析:分析代码中指针的动态作用域:指针在何处可以被访问

大致思路：

从对象分配处出发，沿着控制流，观察对象的数据流·若发现指针p在当前作用域s

  • 作为参数传递给其他函数
  • 传递给全局变量
  • 传递给其他的goroutine
  • 传递给已逃逸的指针指向的对象

则指针p指向的对象逃逸出s，反之则没有逃逸出s

优化:

未逃逸的对象可以在栈上分配，对象在栈上分配和回收很快：移动sp减少在heap上的分配，降低GC负担

多内联几层，使原本可能要逃逸的不逃逸了，内联在函数里

avatar
文章
阅读
粉丝