这是我参与「第五届青训营」伴学笔记创作活动的第4天
一、性能优化及内存管理
本节:高性能Go语言发行版优化与落地实践优化
1.内存管理优化
2.编译器优化
性能优化
1.分析工具——PProf:采样原理、如何定位性能问题等 2.业务优化 3.基础库优化 4.Go语言优化
背景
自动内存管理和Go内存管理机制
编译器优化的基本问题和思路
实践:
字节跳动遇到的性能问题以及优化方案
性能优化是什么?
提升软件系统处理能力,减少不必要的消耗,充分发掘计算机算力
为什么要做性能优化?
1.用户体验:带来用户体验的提升-让刷抖音更丝滑,让双十-购物不再卡顿
2.资源高效利用:降低成本,提高效率一很小的优化乘以海量机器会是显著的性能提升和成本节约
业务层优化
1.针对特定场景,具体问题,具体分析
2.容易获得较大性能收益
3.语言运行时优化
4.解决更通用的性能问题
5.考虑更多场景
Tradeoffs
数据驱动
自动化性能分析工具一一pprof
依靠数据而非猜测
首先优化最大瓶颈
性能优化与软件质量
软件质量至关重耍
在保证接口稳定的前提下改进具体实现
测试用例:
覆盖尽可能多的场景,方便回归文档:做了什么,没做什么,能达到怎样的效果
隔离:通过选项控制是否开启优化
可观测:必要的日志输出
二、 自动内存管理
动态内存
1.程序在运行时根据需求动态分配的内存:** malloc()**
2.自动内存管理(垃圾回收) :由程序语言的运行时系统管理动态内存
3.避免手动内存管理,专注于实现业务逻辑
4.保证内存使用的正确性和安全性double -free problem, use -after free problem
自动内存管理相关概念
Mutator:业务线程,分配新对象,修改对象指向关系
Collector: GC线程,找到存活对象,回收死亡对象的内存空间Serial GC:只有一个collector
Parallel GC支持多个collectors同时回收的GC算法
Concurrent GC: mutator(s)和collector(s)可以同时执行 (注意:Collectors必须感知对象指向关系的改变)
评价GC算法
安全性(Safety):不能回收存活的对象基本要求
吞吐率(Throughput): (1-(GC时间/程序执行总时间))
暂停时间(Pause time): stop the world (STW)
业务是否感知内存开销(Space overhead)
GC元数据开销
追踪垃圾回收(Tracing garbage collection)
引用计数(Reference counting)
追踪垃圾回收
对象被回收的条件:指针指向关系不可达的对象标记根对象
静态变量、全局变量、常量、线程栈等
标记:找到可达对象
求指针指向关系的传递闭包:从根对象出发,找到所有可达对象清理:所有不可达对象
将存活对象复制到另外的内存空间(Copying GC)
将死亡对象的内存标记为“可分配(Mark-sweep GC
移动并整理存活对象(Mark-compact GC
根据对象的生命周期,使用不同的标记和清理策略
**Corying GC: **将对象复制到另外的内存空间
Mark- sweep GC:使用free list 管理空闲内存
**Compact GC:**原地整理对象
分代GC (Generational GC)
分代假说(Generational hypothesis): most objects die young.
Intuition: 很多对象在分配出来后很快就不再使用了
每个对象都有年龄:经历过GC的次数
目的:对年轻和老年的对象,制定不同的GC策略,降低整体内存管理的开销
不同年龄的对象处于heap的不同区域
年轻代(Young generation)
1.常规的对象分配
2.由于存活对象很少,可以采用copying collectionGC吞吐率很高
老年代(Old generation)
1.对象趋向于一-直活着,反复复制开销较大
2.可以采用mark -sweep collection
引用计数
每个对象都有一个与之关联的引用数目
对象存活的条件:当且仅当引用数大于0
优点:
1.内存管理的操作被平摊到程序执行过程中
2.内存管理不需要了解runtime的实现细节: C+ +智能指针(smart pointer)
缺点
1.维护引用计数的开销较大:通过原子操作保证对引用计数操作的原子性和可见性
2.无法回收环形数据结构.weak reference
3.内存开销:每个对象都引入的额外内存空间存储引用数目
4.回收内存时依然可能引发暂停
总结
1.自动内存管理的背景和意义
2.概念和评价方法
3.追踪垃圾回收
4.引用计数
5.分代GC
6.学术界和工业界一直在致力于解决自动内存管理技术的不足之处