Go性能优化与内存管理及编译器 | 青训营笔记

81 阅读5分钟

这是我参与「第五届青训营」伴学笔记创作活动的第3天。

1 性能优化

性能优化:提升系统处理能力,减少不必要的消耗,充分发掘计算机算力。

性能优化目的:带来用户体验的提升、降低成本、提高效率。

性能优化的层面:业务代码、SDK、基础库、语言运行时、OS。

业务层优化:针对特定场景,具体问题,具体分析;容易获得较大性能收益。

语言运行时优化:解决更通用的性能问题,考虑更多场景,Tradeoffs

数据驱动:自动化性能分析工具——pprof,依靠数据而非猜测。

2 内存管理

2.1 自动内存管理

2.1.1 概念

动态内存:程序在运行时根据需求动态分配的内存:makkoc()

自动内存管理(垃圾回收):由程序语言的运行时系统回收动态内存。

三个任务:为新对象分配空间、找到存活对象、回收死亡对象的内存空间。

2.1.1.1自动内存管理-相关概念

Mutator:业务线程,分配新对象,修改对象指向关系

Collector:GC线程,找到存活对象,回收死亡对象的内存空间

Serial GC:只有一个collector

Parallel GC:支持多个collectors同时回收的GC算法

Concurrent GC:mutators和collectors可以同时执行。

image.png

Tips:Collectors必须感知对象指向关系的改变:

image.png

2.1.2 追踪垃圾回收

对象被回收的条件:指针指向关系不可达的对象。

标记根对象:静态变量、全局变量、常量、线程栈

标记:找到可达对象。

清理:所有不可达对象。

根据对象的生命周期,使用不同的标记和清理策略。

Compact GC:原地整理对象。

image.png

2.1.3 分代GC

分代假说:most objects die young

Intuition:很多对象在分配出来后很快就不再使用了。

每个对象都有年龄:经历过GC的次数。

2.1.4 引用计数

每个对象都有一个与之关联的引用数目。

对象存活条件:当且仅当引用数大于0

优点:内存管理的操作被平摊到程序执行过程中;内存管理不需要了解runtime的实现细节。

缺点:维护引用计数的开销较大、无法回收环形数据结构、回收内存时依然可能引发暂停、有内存开销

image.png

2.2 Go内存管理及优化

2.2.1 Go内存分配-分块

目标:为对象在heap上分配内存。

提前将内存分块。

对象分配:根据对象的大小,选择最合适的块返回。

image.png

2.2.1 Go内存分配-缓存

TCMalloc:thead caching

每个p包含一个mcache用于快速分配,用于为绑定于p上的g分配对象。

2.2.2 Go内存管理优化

对象分配是非常高频的操作:每秒分配GB级别的内存。

小对象占比较高。

Go内存分配比较耗时:分配路径长:g -> m -> mcache -> mspan -> memory block -> return pointer; pprof: 对象分配的函数是最频繁调用的函数之一。

image.png

2.2.3 优化方案:Balanced GC

每个g都绑定一大块内存(1KB),称作GAB

GAB用于noscan类型的小对象分配:< 128 B

使用三个指针维护GAB:base,end,top

Bump pointer(指针碰撞)风格对象分配:无需和其他分配请求互斥,分配动作简单高效。

image.png

image.png

本质:将多个小对象的分配合并成一次大对象的分配。

2.2.3.1 Balanced GC-性能收益

高峰期CPU usage降低4.6% ,核心接口时延下降4.5%~7.7%。

image.png

3 编译器和静态分析

3.1 编译器的结构

重要的系统软件:识别符合语法和非法的程序;生成正确且高效的代码。

分析部分(前端 front end):词法分析,生成词素(lexeme);语法分析,生成语法树;语义分析,收集类型信息,进行语义检查;中间代码生成,生成intermediate representation(IR)。

综合部分(后端 back end):代码优化,机器无关优化,生成优化后的IR;代码生成,生成目标代码。

image.png

3.2 静态分析

静态分析:不执行程序代码,推导程序的行为,分析程序的性质。

控制流:程序执行的流程。

image.png

image.png

数据流:数据在控制流上的传递。

通过分析控制流和数据流,我们可以知道更多关于程序的性质。

3.3 过程内分析和过程间分析

过程内分析:仅在过程内进行分析。

过程间分析:考虑过程调用时参数传递和返回值的数据流和控制流。

4 Go编译器优化

4.1 函数内联(Inlining)

内联:将被调用函数的函数体的副本替换到调用位置上,同时重写代码以反映参数的绑定。

优点:消除函数调用开销,例如传递参数,保存寄存器等;将过程间分析转化为过程内分析,帮助其他优化,例如逃逸分析。

内联影响性能程度:

image.png

image.png

性能提升4.58倍

image.png

缺点:函数体变大,instruction cache(icache)不友好;编译生成的Go镜像变大。

函数内联在大多数情况下是正向优化。

4.2 Beast Mode

Go函数内联受到的限制较多:语言特性,例如interface,defer等,限制了函数内联;内联策略非常保守。

Beast mode:调用函数内联的策略,使更多函数被内联;降低了函数调用的开销;增加了其他优化的机会:逃逸分析

4.2.1 逃逸分析

逃逸分析:分析代码中指针的动态作用域:指针在何处可以被访问。

大致思路:

从对象分配处出发,沿着控制流,观察对象的数据流。

若发现指针p在当前作用域s:作为参数传递给其他函数;传递给全局变量;传递给其他的goroutine;传递给已经逃逸的指针指向的对象。

则指针p指向的对象逃逸出s,反之则没有逃逸出s。