Go内存管理及优化&编译器性能优化 | 青训营笔记“这是我参与「第五届青训营」伴学笔记创作活动的第4天一、课程内容简

“这是我参与「第五届青训营」伴学笔记创作活动的第4天

一、课程内容简介

本节课接着上节课高质量编程和性能优化的内容细致深入下去，针对性能优化这一点，分别对内存管理优化和编译器优化进行讲解。

性能优化的概念：

性能优化的基本问题；
性能优化的两个层面；
性能优化的可维护性

内存管理优化：

自动内存管理的相关概念；
内存管理的一些方法包括Tracing GC、引用计数、分代GC；
Go语言的内存管理优化方法及效果；

编译器优化：

编译器和静态分析的相关概念；
编译器的优化方法；
Go语言中如何优化编译器及效果；

二、详细知识点记录

1、性能优化相关概念

什么是性能优化：提升软件系统处理能力，减少不必要的消耗，充分发掘计算机算力。
为什么要做性能优化：用户体验：带来用户体验的提升 —— 让刷抖音更丝滑，让双十一购物不再卡顿；资源高效利用：降低成本，提高效率 —— 很小的优化乘以海量机器会是显著的性能提升和成本节约
性能优化的分类：分为业务层的优化和语言运行时的优化。业务层优化指对特性场景特定功能，具体问题具体分析的优化，容易获得较大的性能提升；而语言运行时的优化则可以解决更通用的性能问题，要考虑更多场景。
性能优化是由数据驱动的。对于性能是否优化要依靠数据而非猜测，需要借助像pprof这样的工具进行自动化性能分析。在性能优化的过程中也要首先优化最大的瓶颈。
性能优化是要保证软件质量为前提的。不能说是优化后程序接口不稳定，前后版本结果有区别。因此进行优化有要经过大量的测试；同时需要一个清晰的文档来说明优化做了什么，达到怎么样的效果；优化的效果要可观测（必须输出日志），隔离（不影响旧版使用）。

2、自动内存管理相关概念

动态内存指程序运行时根据需求动态分配的内存：malloc()；自动内存管理也叫垃圾回收，是由程序语言的运行系统自动管理内存，这种机制可以避免手动管理内存，而专注于实现业务逻辑，以此保证内存使用的正确性和安全性（double-free problem和use-after-free problem）。
自动内存管理的三个任务：为新对象分配空间、找到存活对象、回收死亡对象的内存空间。
相关概念
评价GC算法的指标：
追踪垃圾回收算法：（1）标记根对象，比如静态变量、全局变量、常量、线程栈等一直都要被使用的对象；（2）找到可达对象，从根对象开始求指针指向关系的传递闭包，找到所有可达对象；（3）清理不可达对象：这里清理的策略有很多种，如下图，根据对象的生命周期，使用不同的标记和清理策略
分代GC：算法基于分代假说，指很多对象在分配出来后很快就不再使用了。 每个对象都规定一个年龄，这个年龄指的是经历的GC次数。而分代GC就是根据对象不同年龄，制定不同的GC策略，来降低整体内存管理的开销。不同年龄的对象处于heap的不同区域，年轻代对象是常规分配的对象，按照假说年轻代存活率是很少的，所以可以采用copying collection的方法，让GC吞吐率很高；而对于年老代，对象一直倾向于活着，反复复制开销就很大，所以可以采用mark-sweep collection的策略。
引用计数：每个对象都有一个与之关联的引用数目，对象存活的条件：当且仅当引用数大于0。此算法的优点在于内存管理的操作被平摊到程序运行中，指针传递的过程中进行引用计数的增减；不需要了解runtime的细节，因为不需要标记 GC roots，因此不需要知道哪里是全局变量、线程栈等；而也存在缺点：开销大，因为对象可能会被多线程访问。对引用计数的修改需要原子操作保证原子性和可见性；无法回收环形数据结构；每个对象都引入额外存储空间存储引用计数；虽然引用计数的操作被平摊到程序运行过程中，但是回收大的数据结构依然可能引发暂停。

3、Go的内存管理及优化

Go的内存分配第一个思想分块：首先提前将内存分块，通过调用系统调用mmap()向OS申请一大块内存，例如4MB；接着将内存划分成大块，例如8KB，称作mspan；然后再将大块继续划分成为特定大小的块，用于对象分配；最后根据对象的大小选择合适的块返回。mspan也分类，包括noscan mspan：分配不包含指针的对象；scan maspan分配包含指针的对象。
Go的内存分配第二个思想缓存：作了很多级不同的缓存从而加快对内存分配的速度
Go内存分配机制存在的问题：对象分配是非常高频的操作，每秒分配 GB 级别的内存；小对象分配占大多数；Go内存分配比较耗时，经历的分配路径很长：g->m->p->macahe->mspan->memory bolck->return pointer。
字节跳动对Go内存管理的优化。Balanced GC，将每个g都绑定一大块内存（1KB），称作GAB，专门用于noscan类型的小对象分配（<128B）。使用三个指针维护GAB：base,end,top，并用指针碰撞风格进行对象分配，这样就无须和其他分配请求互斥，分配动作简单高效。GAB对Go内存管理来说就是一个大的对象，本质就是将多个小对象的分配合并成一个大对象的分配。但这样会导致GAB内存被延迟释放，可能只存在一个很小的存活对象。解决方案：当GAB总大小超过一定阈值时，将GAB中存活的对象复制到另一个分配的GAB中去，将原先的GAB释放掉，本质是用copying GC的算法管理小对象。但是这里我有一个问题，图中不同的GAB的剩余小对象都合并到额外分配的新GAB中，这不是和概念中，每个goroutine绑定单独GAB冲突么？

4、编译器和静态分析

编译器的结构和编译流程
静态分析：编译的过程中是没办法执行代码的，但可以去推导程序的行为，分析程序的性质。控制流指程序执行的流程；数据流指数据在控制流上的传递。通过分析控制流和数据流，可以知道更多关于程序的性质，从而根据这些性质优化代码。
过程内分析和过程间分析，前者仅在函数内部进行分析，后者考虑函数调用时的参数传递和返回值的数据流和控制流

5、Go编译器优化

Go编译器优化的背景：
函数内联：概念类似于C++中的内联函数，只是这里是指在编译时候，将被调用函数的函数体副本替换到调用的位置上，同时重写代码以反映参数的绑定。优点：消除函数调用的开销，例如参数传递、寄存器保存等，更关键的是可以将过程间的分析转化为过程内分析，帮助其他优化。也有一些缺点：函数体变大，不容易放到icache里，容易icache miss；编译生成的Go镜像变大。函数内联在大多数情况下是正向优化。
字节内部在内联上做的优化：Beast Mode。因为Go函数内联受到的限制比较多，内联策略非常保守。Beast Mode调整了函数内联策略，使更多函数被了内敛。
逃逸分析：分析代码中指针的动态作用域，指针在何处可以被访问。大致思路是：从对象分配处出发，沿着控制流，观察数据流。若发现指针 p 在当前作用域 s: 1. 作为参数传递给其他函数；2. 传递给全局变量；3. 传递给其他的 goroutine;4. 传递给已逃逸的指针指向的对象；则指针p逃逸出s，反之则没有逃逸出s。而Beast Mode使得更多函数变成内联导致不再逃逸，未逃逸的对象则可以在栈上分配。优点在于：在栈上分配和回收很快，减少在heap上的分配，降低GC负担。

三、个人收获

这节课承接了上次课的内容，继续对函数优化的一些原理和实践进行了分析讲解。一个深刻的体会就是之前了解过的一些知识，在自己不熟悉的地方出现的时候真的会有“噢这个在这里可以用到”的感受。这节课老师讲的架构很清晰，收获不少，但涉及的更多是基础概念，代码上的操作比较少，还要自己去找相关资料进行拓展吧。

引用参考

字节内部课程《性能优化及自动内存管理》、《Go内存管理&编译器优化思路》。