这是我参与「第三届青训营 -后端场」笔记创作活动的第5篇笔记

性能优化的层面

业务代码

SDK

基础库

语言运行时：GC，调度器等

业务层优化

针对特定场景，具体问题，具体分析
容易获得较大的性能收益

语言运行时优化

解决更通用的性能问题
考虑更多场景
Tradeoffs

数据驱动

自动化性能分析工具——pprof
依靠数据而非猜测
首先优化最大性能瓶颈

性能优化与软件质量

在保证接口稳定的前提下改进具体实现
测试用例：覆盖尽可能多的场景，方便回归
文档：做了什么、没做什么、能达到什么效果
隔离：通过选项控制是否开启优化
可观测：必要的日志输出

自动内存管理

概念

动态内存：程序在运行时根据需求动态分配的内存：malloc()
自动内存管理（垃圾回收）：由程序语言的运行时系统管理动态内存
1. 避免手动内存管理，专注于实现业务逻辑
2. 保证内存使用的正确性和安全性
  1. double-free problem
  2. use-after-free problem
自动内存管理的三个任务
1. 为新对象分配空间
2. 找到存活对象
3. 回收死亡对象的内存空间
自动内存管理的术语概念
- Mutator：业务线程，分配新对象，修改对象指向关系
- Collector：GC线程，找到存活对象，回收死亡对象的内存空间
- Serial GC：只有一个collector
- Parallel GC：支持多个collectors同时回收的GC算法
- Concurrent GC：mutator(s)和collector(s)可以同时执行
  - Collectors必须感知对象指向关系的改变
评价GC算法的方法
- 安全性(Safety)：不能回收存活的对象——基本要求
- 吞吐率(throughput)： $1-\frac{GC时间}{程序执行总时间}$ ——花在GC上的时间
- 暂停时间(Pause time)：stop the world(STW)——业务是否感知
- 内存开销(Space overhead)——GC元数据开销

追踪垃圾回收

对象被回收的条件：指针指向关系不可达的对象

标记根对象
- 静态变量、全局变量、常量、线程栈等
标记可达对象
- 求指针指向关系的传递闭包：从根对象出发，找到所有可达对象
清理所有不可达对象
- 将存活对象复制到另外的内存空间（Copying GC）
- 将死亡对象的内存标记为“可分配“（Mark-sweep GC）使用一个free list管理空闲内存
- 移动并整理存活对象（Mark-compact GC）

分代GC(Generational GC)

比较常见的内存管理方式，基于分代假说(Generational hypothesis)：most objects die young，即大多数的对象很快就死亡了

Intution：很多对象在分配出来后很快就不再使用了
每个对象都有年龄：即经历过GC的次数
目的：对年轻和老年的对象，指定不同的GC策略，降低整体内存管理的开销
不同年龄的对象处于heap的不同区域

对于年轻代

常规的对象分配
由于存活对象很少，可以采用copy collection
GC吞吐率很高

对于老年代

对象趋于一直活着，反复复制开销较大，可以采用Mark-sweep collection

引用计数

每个对象都有一个与之关联的引用数目。对象存活的条件是：当且仅当引用数大于0

优点

内存管理的操作被平摊到程序执行过程中
内存管理不需要了解runtime的实现细节：C++智能指针（smart pointer）

缺点：

维护引用计数的开销较大：通过原子操作保证对引用计数操作的原子性和可见性
无法回收环形数据结构——weak reference解决
内存开销：每个对象都引入的额外内存空间存储引用数目
回收内存时依然可能引发暂停

Go内存管理与优化

Go的内存分配

分块

目标：为对象在heap上分配内存。
提前将内存分块。
- 调用系统调用mmapO向0S申请一大块内存，例如4MB
- 先将内存划分成大块，例如8KB，称作mspan
- 再将大块继续划分成特定大小的小块，用于对象分配
- noscan mspan：分配不包含指针的对象——GC不需要扫描
- scan mspan：分配包含指针的对象——GC需要扫描
对象分配：根据对象大小，分配最合适的块

缓存

TCMalloc:thread caching
每个p包含一个mcache用于快速分配，用于为绑定于p上的g分配对象
mcache管理一组mspan
当mcache中的mspan分配完毕，向mcentral申请带有未分配块的mspan
当mspan中没有分配的对象，mspan会被缓存在mcentral中，而不是立刻释放并归还给OS

o内存管理优化

对象分配是非常高频的操作：每秒分配GB级别的内存
小对象占比较高
Go内存分配比较耗时
- 分配路径长：g→m→p→mchche→mspan→memory block→return pointer
- pprof:对象分配的函数时最频繁调用的函数之一

Balanced GC

每个g都绑定一大块内存（1KB），称作goroutine allocation buffer（GAB）
GAB用于noscan类型的小对象分配：<128B
使用三个指针维护GAB:base,end,top
Bump pointer（指针碰撞）风格对象分配
- 无须和其他分配请求互斥
- 分配动作简单高效
- GAB对于Go内存管理来说是一个大对象
本质：将多个小对象的分配合并成一次大对象的分配
问题：GAB的对象分配方式会导致内存被延迟释放
- 解决方案：移动GAB中存活的对象
  - 当GAB总大小超过一定阈值时，将GAB中存活的对象复制到另外分配的GAB中
  - 原先的GAB可以释放，避免内存泄漏
  - 本质：用copying GC的算法管理小对象

高性能 Go 语言发行版优化与落地实践 ｜ 青训营笔记