这是我参与「第三届青训营 -后端场」笔记创作活动的第3篇笔记
Go语言优化与落地实践
Go语言优化可以分为 内存管理优化 编译器优化 自动内存管理和Go内存管理机制 编译器优化的基本问题和思路 性能问题和优化方案
性能优化是什么
提升软件系统处理能力,减少不必要的消耗,充分发掘计算机的算力
为什么要做性能优化
用户体验: 带来体验的提升
资源高效利用 :降低 成本,提高效率
性能优化的层面
1 业务代码 针对特定场景,具体问题,具体分析,容易获得较大性能收益
2 SDK
3 基础库
4 语言运行时 (GC 调度器) 解决更通用的性能问题 考虑更多场景
5 OS 数据驱动优化 自动化功能分析工具 pprof
在测评性能问题的时候要依靠数据而非猜测 首选优化是最大瓶颈
软件质量至关重要
测试用例:覆盖尽可能多的场景,方便回归 文档 隔离 可观测:必要的日志输出
自动内存管理
什么是自动内存管理
1 动态内存 2 程序在运行是根据需求动态分配的内存 malloc() 3 自动内存回收:由程序语言的运行时系统管理动态内存 4 避免手动管理内存,专注实现业务逻辑 5保证内存使用的正确性和安全性 double-free problem user-after-free problem 有很多问题
5 三个任务
Go内存管理
-
目标:为对象在heap上分配内存
-
提前将内存分块
调用系统调用mmap( ),向OS申请一大块内存 先将内存划分成大块 mspan 再将大块继续划分成特定大小的小块,用于对象分配 noscan mspan :分配不包含指针的对象,GC不要扫描 scan mspan 分配包含指针的对象--GC需要扫描
-
对象分配:根据对象的大小,选择最合适的块返回
Go内存分配 - 缓存
- TCMalloc:thread caching
- 每个p包含一个mcache用于快速分配,用于为绑定于p上的g分配对象
- mache管理一组mspan
- 当mcache中的mspan分配完毕,向mcentral申请待有未分配块的mspan
- 当mspan中没有分配的对象,mspan会被缓存在mcentral中,而不是立刻释放并规划给OS
Go内存分配 - 分块
-
目标 为对象在heap上分配内存
-
提前将内存分块
调用系统调用mmap()向OS申请一大块内存 先将内存划分成大块 再将大块继续划分成特定大小的小块,用于对象分配 noscan mspan分配不包含指针的对象--GCbuxuyao1saomiao1 scan mspan分配包含指针的对象--GC需要扫描
-
对象分配:根绝对象的大小,选择最合适的块返回
Go内存管理优化
-
对象分配是非常高频的操作:每秒分配GB级别的内存
-
小对象占比高
-
Go内存分配耗时
分配路径长:g->m->p>mache->memory block->return poniter pprof 对象分配的函数是最频繁调用的函数之一
优化方案 Balanced GC
-
每个g都绑定一大块内存
-
GAB用于noscan类型的小对象分配
-
使用三个指针维护GAB:base,end,stop
-
Bump poinyer(指针碰撞) 风格对象分配
无需和其他分配请求互斥 分配动作简单高效
Balanced GC
GAB对于Go内存管理来说是一个大对象
本质:将多个小对象的分配合并成一次大对象的分配
问题:GAB的对象分配方式会导致内存被延迟释放
方案:移动GAB中存活的对象
当GAB总大小超过一定阈值时,将GAB中存活的对象复制到另外分配的GAB中 原先的GAB可以释放,避免内存泄露 本质:用copying GC 的算法管理小对象 根据对象的声明周期,使用不同的标记和清理策略
编译器和静态分析
编译器的结构
-
作用 重要的系统软件
识别符合语法和非法的程序‘ 生成正确且高效的代码
-
分析部分 (前端 front end)
词法分析 生成词素 词法分析 生成语法树 语义分析,收集类型信息,进行语义检查 中间代码生成,声成intermediate representation(IR)
-
综合部分(后端 back end)
代码生成,机器无关优化,生成优化的IR 代码生成,生成目标代码
静态分析
- 静态分析:不执行程序代码,推到程序的行为,分析程序的性质
- 控制流(Control flow):程序执行的流程
- 数据流(Data flow):数据在控制流上的传递
- 通过分析数据流和控制流,我们可以知道更多关于程序的性质
- 根据这些性质优化代码
- 过程内分析:仅在函数内部进行分析
- 过程间分析:考虑函数调用时参数传递和返回值的数据流和控制流(联合求解,比较复杂)
Go编译器优化
-
为什么做编译器优化
用户无感知,重新编译即可重新获得性能收益 通用化优化
-
现状
采用的优化少 编译时间较短,没有进行较复杂的代码分析和优化
-
优化编译的思路
场景 面向后端长期执行任务 Tradoff:用编译时间换取更高效的机器码
-
Beast mode 函数内联
逃逸分析
-
默认栈大小调整
-
边界检查消除
-
循环展开
-