性能优化、内存管理以及编译器优化 | 青训营笔记

陌路森
111 阅读6分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 4 天

一、本堂课重点内容

  • 自动内存管理
  • Go 内存管理及优化
  • 编译器和静态分析
  • Go 编译器优化

二、详细知识点介绍

自动内存管理

自动内存管理可以使开发人员专注于业务逻辑的实现，而非手动去管理复杂繁琐的内存。

相关概念

术语：

  • Mutator:业务线程，分配新对象，修改对象指向关系
  • Collector: GC线程，找到存活对象，回收死亡对象的内存空间。Collector必须感知对象指向关系的改变!
  • Serial GC:只有一个collector
  • Parallel GC:支持多个collectors同时回收的GC算法
  • Concurrent GC: mutator(s)和collector(s)可以同时执行

GC算法的评价：

  • 安全性----GC算法的基本要求
  • 吞吐率----程序运行花在GC上的时间
  • 暂停时间----业务是否被感知
  • 内存开销----GC元数据的开销

追踪垃圾回收

追踪垃圾回收主要分为以下几个步骤：

  1. 标记根对象。主要有静态变量、全局变量、常量、线程栈等
  2. 标记找到可达对象。求指针指向关系的传递闭包:从根对象出发，找到所有可达对象。
  3. 清理所有不可达对象。根据对象的生命周期使用不同策略，主要有以下方法：
    • 将存活对象复制到另外的内存空间(Copying GC)
    • 将死亡对象的内存标记为“可分配“(Mark-sweep Gc)
    • 移动并整理存活对象(Mark-compact GC)

分代GC

分代GC是一种基于分代假说的GC技术，分代假说认为大多数对象很快就会消失，所以分代GC根据每个对象的年龄（经过GC的次数）制定不同的GC策略。

针对年轻对象：

  • 常规的对象分配
  • 由于存活对象很少，可以采用copying collectionGC
  • 吞吐率很高

针对老年对象：

  • 对象趋向于一直活着，反复复制开销较大
  • 可以采用mark-sweep collection

引用计数

简单来说，如果使用该技术的话，每个对象都有一个与之关联的引用数，当且仅当引用数大于0时对象才会存活下来。不可避免地引用计数也有相应地优缺点：

优点：

  • 内存管理的操作被平摊到程序执行过程中
  • 内存管理不需要了解runtime的实现细节:C++智能指针(smart pointer)

缺点：

  • 维护引用计数开销很大，需要原子操作
  • 无法回收环形数据结构
  • 内存开销:每个对象都引入的额外内存空间存储引用数目
  • 回收内存时依然可能引发暂停

Go内存管理及优化

Go内存分配

分块：

  • 目标:为对象在heap上分配内存
  • 提前将内存分块
    • 调用系统调用mmap()向OS申请一大块内存，例如4 MB
    • 先将内存划分成大块，例如8 KB，称作mspan
    • 再将大块继续划分成特定大小的小块，用于对象分配
    • noscan mspan:分配不包含指针的对象——GC不需要扫描
    • scan mspan:分配包含指针的对象——GC需要扫描
  • 对象分配:根据对象的大小，选择最合适的块返回

缓存：

  • mcache 管理一组mspan
  • 当mcache中的mspan分配完毕，向mcentral申请带有未分配块的mspan
  • 当mspan中没有分配的对象，mspan会被缓存在mcentral中，而不是立刻释放并归还给os

Go内存管理优化

go语言内存管理特性：

  • 对象分配是非常高频的操作
  • 小对象占比较高
  • 内存分配较为耗时

优化方案Balanced GC:

本质：将多个小对象的分配合并为一次大对象的分配
具体实现：
    1. 每个g都绑定一大块内存，称为GAB
    2. GAB用于noscan类型的小对象分配: <128 B
    3. 使用三个指针维护GAB: base, end, top
    4. Bump pointer（指针碰撞)风格对象分配
缺点；个别小对象的存在会导致内存释放被延迟
解决方案：copying GC的算法管理小对象
当GAB总大小超过一定阈值时，将GAB中存活的对象复制到另外分配的GAB中，原先的GAB可以释放，避免内存泄漏。

编译器和静态分析

编译器结构

前端分析部分：

  • 词法分析，生成词素(lexeme)
  • 语法分析，生成语法树
  • 语义分析，收集类型信息，进行语义检查
  • 中间代码生成，生成intermediate representation (IR)

后端综合部分：

  • 代码优化，机器无关优化，生成优化后的IR
  • 代码生成，生成目标代码

静态分析

  • 静态分析:不执行程序代码，推导程序的行为，分析程序的性质。
  • 控制流(Control flow):程序执行的流程
  • 数据流(Data flow):数据在控制流上的传递
  • 通过分析控制流和数据流，我们可以知道更多关于程序的性质(properties)，然后根据这些性质优化代码

过程内和过程间分析

  • 过程内分析：仅在函数内部进行分析
  • 过程间分析：考虑过程调用时参数传递和返回值的数据流和控制流

Go编译器优化

函数内联

函数内联就是将被调用函数的函数体(callee)的副本替换到调用位置(caller)上，可以添加以下命令激活，函数内联在大多数情况下是正向优化的。

image.png

优点：

  • 消除函数调用开销，例如传递参数、保存寄存器等
  • 将过程间分析转化为过程内分析，帮助其他优化，例如逃逸分析

缺点：

  • 函数体变大，instruction cache (icache)不友好
  • 编译生成的Go镜像变大

三、实践练习例子

BeastMode

BeastMode不同于Go语言原本的保守内联策略和语言特性限制，它降低了函数调用开销，增加了其他优化（逃逸分析）的机会。

逃逸分析

逃逸分析是指分析代码中指针的动态作用域。

（逃逸条件）如果发现指针p：

  • 作为参数传递给其他函数
  • 传递给全局变量
  • 传递给其他的goroutine
  • 传递给已逃逸的指针指向的对象

则指针p指向的对象逃逸出s，反之则没有逃逸出s

Beast Mode拓展了函数边界，使得更多的对象不逃逸，这些未逃逸的对象就可以进行栈上分配，在栈上的分配回收效率非常高，而且降低了GC的负担。

四、课后个人总结

本节课我学习的内容都是之前没有接触过的知识点，所以这些知识点都值得我反复去学习加深理解，尤其是自动内存管理、编译器优化这部分的知识点不仅可以运用于GO上，其他语言也适用，都可以沿用这些思路去做进一步的优化，可惜的就是还缺乏相关的项目实践，需要进一步去充实自己。

avatar
文章
阅读
粉丝