自动内存管理及优化思路 l 青训营笔记

110 阅读4分钟

这是我参与「第五届青训营」伴学笔记创作活动的第 4 天

一、性能优化的层面

由于自顶向下的是业务代码、SDK、基础库、语言运行时以及OS,所以性能优化有着针对不同层面的优化:

  • 业务层优化

    • 针对特定场景,具体问题,具体分析

    • 比较容易获得较大的性能收益

  • 语言运行时优化

    • 解决更通用的性能问题

    • 考虑更多场景

    • Tradeoffs

无论是哪种层面的性能优化,都需要数据作为驱动

  • 数据驱动

    • 自动化性能分析工具——pprof
    • 依靠数据而非猜测,实事求是
    • 首先优化最大瓶颈

性能优化与软件质量

  • 软件质量至关重要
  • 在保证接口稳定的前提下进行具体实现
  • 测试用例:覆盖尽可能多的场景,方便回归
  • 文档:做了什么,没做什么,能达到怎样的效果
  • 隔离:通过选项控制是非开启优化
  • 可观测:必要的日志输出

1.1自动内存管理

动态内存

  • 程序在运行时根据需求动态分配的内存:malloc()

相关概念

- Mutator:业务线程,分配新对象,修改对象指向关系

  • Collector:GC线程,找到存活对象,回收死亡对象的内存空间
  • Serial GC:只有一个collector
  • Parallel GC:支持多个collectors同时回收的GC算法
  • Concurrent GCmutator(s)collector(s)可以同时执行

2023-01-19.png

2023-01-19 (1).png

GC算法补充:

  1. 安全性:不能收回存活的对象
  2. 吞吐率:1 - GC时间 / 总时间
  3. 暂停时间:stop the word(STW)
  4. 内存开销:GC元数据开发

1.2追踪垃圾回收

  • 对象被回收的条件:

指针指向关系不可达的对象

  • 标记根对象:

静态变量、全局变量、常量、线程栈等等

  • 标记:找到可达对象

求指针指向关系的传递闭包:从根对象出发,找到所有可达对象

  • 清理:所有不可达对象

将存活对象赋值到另外一个内存空间

将死亡对象的内存标记为“可分配”

移动并整理存活对象

2023-01-19 (2).png

Copying GC:将对象复制到另外的内存空间 Mark-sweep GC:使用free list 管理空闲内存 Compact GC:原地整理对象

1.3分代GC(Generatioal GC)

  • 分代假说:most objects die young

  • Intuition:很多对象在分配出来后很快就不再使用了(英年早逝)

  • 每个对象都有年龄:经历过GC的次数

  • 目的:对年轻和老年的对象,指定不同的GC策略,降低整个提内存管理的开销

  • 不同年龄的对象处于heap的不同区域

  • 年轻代

    • 常规的内存分配
    • 由于存活对象很少,可以采用copying GC
    • GC吞吐率很高
  • 老年代

    • 对象趋向于一直活着,反复复制开销较大
    • 可以采用mark-sweep GC

1.4 引用计数

  • 每个对象都有一个与之关联的引用数目
  • 对象存活的条件:当且仅当引用数 > 0

缺点:

  1. 维护开销较大:通过原子操作对引用计数操作的原子性和可见性
  2. 无法回收环形数据结构 —— weak reference
  3. 内存开销:每个对象都引入的额外内存空间引用数目
  4. 回收内存时依然可能引发暂停

二、Go内存管理及优化

2.1分块

  • 对象在heap上分配内训
  • 提前内存分块
    • 调用系统调用mmap()向OS申请一大块内存,例如4MB

    • 先将内存划分成大块,例如8KB,称作mspan

    • 再继续将大块划分成特定大小的小块,用于按需对象的分配

    • noscan mspan:分配不包含指针的对象——GC不需要扫描

    • scan mspan:分配包含指针的对象——GC需要扫描

2.1缓存

2023-01-19 (3).png

2.2管理优化

g -> m -> p -> mcache -> mspan -> memory block -> return pointer

pprof:最常用

2.3案例

  • 每个g都绑定一大块内存(GAB)
  • GAB用于noscan类型的小对象分配: < 128b
  • 使用三个指针维护GAB: base end top
  • Bump pointer(指针碰撞)风格对象分配
    • 无序和其他分配请求互斥
    • 分配动作简单高效
if top + size <=end{
    addr := top
    top += size
    return addr
}