Go-性能优化与内存管理 |青训营笔记

小李不玩游戏
38 阅读4分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 4 天

Go-性能优化及自动内存管理

性能优化是什么

  • 提升软件系统处理能力，减少不必要的消耗，充分发掘计算机算力

为什么要做性能优化

  • 用户体验： 带来用户体验的提升 ----- 让刷抖音更丝滑，让双十一购物不再卡顿
  • 资源高效利用： 降低成本，提高效率 ----- 很小的优化乘以海量机器会是显著的性能提升和成本节约

性能优化的层面： 从低到高的层面

  • 业务层优化
    • 针对特定场景，具体问题，具体分析
    • 容易获得较大性能收益
  • 语言运行时优化
    • 解决更通用的性能问题
    • 考虑更多场景
    • Teadeoffs image.png

性能优化与软件质量

  • 软件质量至关重要
  • 在保证接口稳定的前提下改进具体实现
  • 测试用例：覆盖尽可能多的场景，方便回归
  • 文档
  • 隔离：通过选项控制是否开启优化
  • 可观测：必要的日志输出

一、自动内存管理

自动内存管理的是动态内存：程序在运行时根据需求动态分配的内存：malloc()

  • 自动内存管理（垃圾回收）：有程序语言的运行时系统管理动态内存
    • 避免手动内存管理，专注与实现业务逻辑
    • 保证内存使用的正确性和安全性：double-free problem，use-after-free proble
  • 三个任务
    • 为新对象分配空间
    • 找到存活对象
    • 回收死亡对象的内存空间

1.1 相关概念

  • Mutator： 业务线程，分配新对象，修改对象指向关系
  • Collector：GC 线程，找到存活对象，回收死亡对象的内存空间
  • Serial GC：只有一个collector
  • Parallel：支持多个 collectors 同时回收的GC算法
  • Concurrent GC：mutator(s) 和 collector(s) 可以同时执行
    • Collectors 必须感知对象指向关系的改变

image.png

image.png

1.2 追踪垃圾回收

  • 对象被回收的条件：指针指向关系不可达的对象
  • 标记根对象
    • 静态变量、全局变量、常量、线程栈等
  • 标记：找到可达对象
    • 求指针指向关系的传递闭包：从根对象出发，找到所有可达对象
  • 清理：所有不可达对象
    • 将存活对象赋值到另外的内存空间（Copying GC）
    • 将死亡对象的内存标记为“可分配”（Mark-sweep GC）
    • 移动并整理存活对象（Mark-compact GC）
  • 根据对象的生命周期，使用不同的标记和清理策略

image.png

image.png

image.png

1.3 分代GC

  • 分代假说
  • Intuition：很多对象在分配出来后很快就不再使用了
  • 每个对象都有年龄：经历过GC 的次数
  • 目的：对年轻和老年的对象，制定不同的GC 策略，降低整体内存管理的开销
  • 不同的年龄的对象处于 heap 的不同区域
  • 年轻代
    • 常规的对象分配
    • 由于存活对象很少，可以采用 copying collection
    • GC吞吐量很高
  • 老年代
    • 对象趋向于一直活着，反复复制开销大
    • 可以采用 mark-sweep collection image.png

1.4 引用技术

  • 每个对象都有一个与之关联的引用数目
  • 对象存活的条件：当且仅当应用数大于 0
  • 优点：
    • 内存管理的操作被平摊到程序执行过程中
    • 内存管理不需要了解runtime的实现细节
  • 缺点：
    • 维护引用计数的开销较大：通过原子操作 保证对引用计数操作的原子性和可见性
    • 无法回收环形数据结构 --- weak reference
    • 内存开销：每个对象都引入的额外内存空间存储引用数目
    • 回收内存时依然可能引发暂停

二、Go内存管理及优化

2.1 Go内存分配 - 分块

  • 目标：为对象在 heap上分配内存
  • 提前将内存分块
    • 调用系统调用 mmap() 向OS 申请一大块内存，例如 4MB
    • 先将内存划分成大块，例如 8KB，称作 mspan
    • 再将大块继续划分成特定大小的小块，用于对象分配
    • noscan mspan： 分配不包含指针的对象- GC 不需要扫描
    • scan mspan： 分配包含指针的对象 - GC 需要扫描
  • 对象分配：根据对象的大小，分配大小

2.2 Go内存分配-缓存

  • TCMalloc：Thread caching
  • 每个p包含一个mcache用于快速分配，用于绑定与p上的g分配对象
  • mcache管理一组mspan

image.png

go内存管理优化

  • 对象分配是非常高频的操作：每秒分配GB级别的内存
  • 小对象占比比较高
  • Go 内存分配比较耗时 - 分配路径长： g-m-p-mcache-mspan-memory block - return pointer - pprof：对象分配的函数是最频繁调用的函数之一
avatar
文章
阅读
粉丝