这是我参与「第五届青训营 」伴学笔记创作活动的第5天
主要记录课程的重点和课上所讲项目的每一步以及我的思考
1.性能优化
性能优化就是提升软件系统处理能力,减少不必要的消耗,充分发掘计算机算力。
性能优化主要是为了
(1)带来用户体验的提升 -让刷抖音更丝滑,让双十一购物不再卡顿 (2)降低成本,提高效率 -很小的优化乘以海量机器会是显著的性能提升和成本节约
性能优化的层面
主要有业务代码,SDK,基础库,语言运行时,OS五个层面。
- 业务层优化
- 针对特定场景,具体问题,具体分析
- 容易获得较大性能收益
- 语言运行时优化
- 解决更通用的性能问题
- 考虑更多场景
- Tradeoffs
- 数据驱动
- 自动化性能分析工具 - pprof
- 依靠数据而非猜测
- 首先优化最大瓶颈
性能优化与软件质量
- 软件质量至关重要
- 在保证借口稳定的前提下改进具体实现
- 测试用例:覆盖尽可能多的场景,方便回归
- 文档:做了什么,没做什么,能达到怎样的效果
- 隔离:通过选项控制是否开启优化
- 可观测:必要的日志输出
2.自动内存管理
- 动态内存
- 程序在运行时根据需求动态分配的内存:malloc()
- 自动内存管理(垃圾回收):由程序语言的运行时系统回收动态内存
- 避免手动内存管理,专注于实现业务逻辑
- 保证内存使用的正确性和安全性:double-free problem,use-after-free problem
- 三个任务
- 为新对象分配空间
- 找到存活对象
- 回收死亡对象的内存空间
相关概念
- Concurrently:并行执行命令模块,可以同时执行多个命令
- Mutator threads:独享线程
评价一个GC算法要考虑以下几点
- 安全性(Safety):不能回收存活的对象
- 吞吐率(Throughput):花在GC上的时间与程序执行总时间的比例
- 暂停时间(Pause time):业务是否感知
- 内存开销:GC元数据开销
追踪垃圾回收
- 对象被回收的条件:指针指向关系不可达的对象
- 标记跟对象
- 静态变量、全局变量、常量、线程栈等
- 标记:找到可达对象
- 求指针指向关系的传递闭包:从根对象处罚,找到所有可达对象
- 清理:所有不可达对象
- 将存活对象复制到另外的内存空间
- 将死亡对象的内存标记为“可分配”
- 移动并整理存活对象
- 根据对象的生命周期,使用不同的标记和清理策略
分代GC(Generation GC)
分代 GC 的设计来源于分代假说(Generational hypothesis),即大多数对象在很短的生命周期内就会死亡,分配出来后很快就不再使用了。通过为年轻和老年的对象指定不同的 GC 策略,降低整体内存管理的开销。
- 年轻代(Young generation)
- 常规的对象分配
- 由于存活对象很少,可以采用copying collection
- GC吞吐率很高
- 老年代(Old generation)
- 对象趋向于一直活着,反复复制开销较大
- 可以采用mark-sweep collection
引用计数
- 每个对象都有一个与之关联的引用数目
- 对象存活的条件:当且仅当引用数大于0
- 优点
- 内存管理的操作被平摊到程序执行过程中
- 内存管理不需要了解runtime的实现细节,C++智能指针
- 缺点
- 维护引用计数的开销较大:通过原子操作保证对引用计数的原子性和可见性
- 无法回收环形数据结构——weak reference
- 内存开销:每个对象都引入的额外内存空间存储引用数目
- 回收内存时依然可能引发暂停
3.Go内存管理及优化
Go内存分配-分块
目标:为对象在heap上分配内存 提前将内存分块
-
调用系统调用mmap()向OS申请一大块内存,例如4MB
-
先将内存划分成大块,例如8KB,称作mspan
-
再继续将大块划分成特定大小的小块,用于按需对象的分配
-
noscan mspan:分配不包含指针的对象——GC不需要扫描
-
scan mspan:分配包含指针的对象——GC需要扫描
对象分配:根据对象的大小,选择最合适的块返回
Go内存分配-缓存
-
TCMalloc:thread caching
-
每个p包含一个mcache用于快速分配,用于为绑定于p上的g分配对象
-
mcache管理一组mspan
-
当mcache中的mspan分配完毕,向mcentral申请带有未分配块的mspan
-
当mspan中没有分配的对象,mspan会被缓存在mcentral中,而不是立刻释放并归还给OS
4.编译器和静态分析
编译器的结构
-
重要的系统软件
- 识别符合语法和非法的程序
- 生成正确且高效的代码
-
分析部分:(前端 front end)
- 词法分析:生成词素(lexeme)
- 语法分析:生成语法树
- 语义分析:收集类型信息,进行语义检查
- 中间代码生成:生成intermediate representation(IR)
-
综合部分:(后端 back end)
- 代码优化:机器无关代码,生成优化后的IR
- 代码生成:生成目标代码
静态分析
- 静态分析:不执行程序代码,推导程序的行为,分析程序的性质。
- 控制流(Control flow):程序执行的流程
- 数据流(Dataflow):数据在控制流上的传递
Go编译器优化
作用:1.重新编译即可获得性能收益2.通用性优化
现状:采用的优化少;编译时间较短,没有进行较复杂的代码分析和优化
思路:
- 场景:面向后端长期执行任务
- Tradeoff:用编译时间换取更高效的机器码
总结
今天的课概念比较多,主要是思路的讲解,听上去感觉没有那么复杂,实际上不是,需要课程后多思考回顾。
引用
该文章部分内容来自于以下内容或网页
-
字节内部课:Go语言内存管理详解