这是我参与「第五届青训营 」伴学笔记创作活动的第 4 天
今天的主要内容是去使用性能优化工具pprof解决一些优化的案例
性能优化:提升软件系统的处理能力,减少不必要的消耗,充分发掘计算机算力
性能优化的作用:
用户体验:带来用户体验的提升——刷抖音更加丝滑,双十一购物不再卡顿
资源高效利用:降低成本。提高效率——很小的优化乘以海量机器会是显著的性能优化和效率提升
性能优化的层面
业务层优化: 针对特定场景,具体问题,具体分析
语言运行时优化:考虑更通用的性能问题,考虑更多场景
数据驱动:自动化性能分析工具,依靠数据而非猜测,首先优化最大瓶颈
性能优化与软件质量
软件质量至关重要
在保证接口稳定的前提下改进具体实现
测试用例: 覆盖尽可能多的场景,方便回归
文档:做了什么,没做什么,能达到怎样的效果
隔离:通过选项控制是否开启优化
可观测:必要的日志输出
一、自动内存管理
1.1 自动内存管理
动态内存:程序在运行时根据需求动态分配的内存
自动内存管理(垃圾回收):由程序语言的运行时系统回收动态内存
三个任务:为新对象分配空间、找到存活对象、回收死亡对象的内存空间
Mutator:业务线程,分配新对象,修改对象指向关系
collector:GC线程,找到存活对象,回收死亡对象的内存空间
serial GC:只有一个collector
Parallel GC:支持多个collectors同时回收的GC算法
Concurrent GC:mutators 和 collectors 可以同时执行
评价GC算法
安全性:不能回收存活的对象(基本要求)
吞吐率:1-(gc时间/程序执行总时间)
暂停时间:stop the world (业务是否感知)
内存开销:GC 元数据
1.2 追踪垃圾回收
对象被回收的条件:指针指向关系不可达
标记根对象:静态变量,全局变量,常量,栈
标记(找到可达对象) 求指针指向关系的传递闭包;从根对象出发,找到所有可达对象
清理(所有不可达对象)
将存活对象复制到另外的内存分配空间
将死亡对象的内存标记为“可分配”
移动并整理存活对象
根据对象的生命周期,使用不同的标记和清理策略
1.3 分代GC
分代假说:most objects die young
lntuition:很多对象在分配出来后很快就不再使用了
每个对象都有年龄:经过的GC次数
目的:针对年轻和老年的对象,制定不同的GC策略,降低整体内存管理的开销
不同年龄的对象处于heap不同区域
1.4 引用计数
每个对象都有一个与之关联的引用数目
对象存活的条件:当且仅当引用数大于0
优点
内存管理的操作被平摊到程序执行过程中
内存管理不需要了解runtime的实现细节
缺点
维护引用计数的开销较大:通过原子操作保证对引用计数操作的原子性和可见性
无法回收环形数据结构——weak reference
内存开销:每个对象都引入的额外内存空间储存引用数目
回收内存依然可能引发暂停
二、Go性能优化
1. go内存分配
1.1 分块
目标:为对象在heap上分配内存
提前将内存分块
调用系统调用mmap()向OS申请一大块内存
先将内存划分成大块
再将大块继续划分成特定大小的小块,用于对象分配
noscan mspan 分配不包含指针的对象——gc不需要扫描
scan mspan 分配包含指针的对象——gc需要扫描
对象分配:根据对象的大小,选择最合适的快返回
1.2 缓存
TCMalloc: thread caching
每个p包含一个mcache用于快速分配,用于为绑定于p上的g分配对象
mcache 管理一组mspan
当msache 中的mspan分配完毕,向mcentral申请带有未分配块的mspan
当mspan中没有分配的对象,mspan会被缓存在mcentral中,而不是立刻释放并归还给os
2. go内存管理优化
对象分配是非常高频的操作,每秒分配GB级别的内存
小对象占比较大
go内存分配比较耗时:分配路径长,pprof
3. Balanced GC
每个g都绑定一大块内存,称作goroutine allocation buffer(GAB)
GAB用于noscan类型的小对象分配:<128 B
使用三个指针维护GAB:base,end,top
Bump pointer(指针碰撞) 风格对象分配:无须和其他分配请求互斥,分配动作简单高效
三、编译器和静态分析
3.1编译器的结构
重要的系统软件:识别符合语法和非法的程序,生成正确且高效的代码
分析部分:
词法分析,生成词素
语法分析,生成语法树
语义分析,收集类型信息,进行语义检查
中间代码生成,生成 intermediate representation
综合部分:代码优化,机器无关优化,生成优化后的IR;代码生成,生成目标代码
3.2 静态分析
静态分析:不执行程序代码,推导程序的行为分析程序的性质
控制流:程序执行的流程
数据流:数据在控制流上的传递
通过分析控制流和数据流,我们可以知道更多关于程序的性质
根据这些性质优化代码
3.3 过程内分析和过程间分析
过程内分析:仅在过程内部进行分析
过程间分析:考虑过程调用时参数传递和返回值的数据流和控制流
四、go语言编译优化
4.1 函数内联
内联:将被调用函数的函数体的副本替换到调用位置上,同时重写戴拿以反映参数的绑定
优点
消除函数调用开销,例如传递参数,保存寄存器等
将过程间分析转化为过程内分析,帮助其他优化,例如逃逸分析
缺点
函数体变大,instruction cache(icache)不友好
编译生成的GO镜像变大
内联策略:调用和被调函数的规模
4.2 Beast Mode
Go函数内联受到的限制较多
语言特性,例如interface,defer等,限制了函数内联
内联策略非常保守
Beast mode 调整函数内联的策略,使更多函数被内联
降低函数调用的开销
Go镜像增加~10%
编译时间增加
增加了其他优化的机会:逃逸分析
逃逸分析:分析代码中指针的动态作用域:指针在何处可以被访问
从对象分配处出发,沿控制流,观察对象的数据流
若发现指针p在当前作用域s:
作为参数传递给其他函数
传递给全局变量
传递给其他的goroutine
传递给以逃逸的指针指向的对象
则指针p指向的对象逃逸出s,反之则没有逃逸出s
Beast mode:函数内联拓展了函数边界,更多对象不逃逸
优化:未逃逸的对象可以在栈上分配
对象在栈上分配和回收很快:移动sp
减少在heap上的分配,降低GC负担