Go内存管理｜ 青训营笔记

sakurian
109 阅读5分钟

这是我参与「第三届青训营 -后端场」笔记创作活动的第1篇笔记

自动内存管理

背景

动态内存：

  • 程序在运行时根据需求动态分配的内存

自动内存管理（垃圾回收）：由程序语言的运行时系统管理动态内存

  • 避免手动内存管理，专注于实现业务逻辑
  • 保证内存使用的正确性和安全性，避免 double-free problem,use-after problemn

三个任务

  • 为新对象分配空间
  • 找到存活空间
  • 回收死亡对象的内存空间

一些相关概念

  • Mutator: 业务线程，分配新对象，修改对象指向关系
  • Collector: GC线程，找到存活对象，回收死亡对象的内存空间

一些GC算法，用蓝线表示Mutator,橙色线表示Collector

image-20220514171031336

  • Serial GC:只有一个collector
  • Paraller GC: 支持多个collector同时进行回收的GC算法
  • Concurrent GC:mutator和collector可以同时执行
    • Collectors必须感知对象指向关系的改变
    • image-20220514171100510

追踪垃圾回收

  • 对象被回收条件：指针指向关系不可达的对象

  • 标记根对象

    • 静态变量、全局变量、常量、线程栈等

  • 标记：找到可达对象

    • 求指针指向关系的传递闭包：从根对象出发，找到所有可达对象

  • 清理：所有不可达的对象

    • 将存活的对象复制到另外的内存空间（Copying GC）
    • 将死亡对象的内存标记为 可分配 (Mark-sweep GC)
    • 移动并整理存活对象 (Mark-compact GC)

  • 应该根据对象的生命周期，使用不同的标记和清理策略

三种GC方式示例

Copying GC:将对象复制到另外的内存空间

image-20220514171749461

Mark-sweep GC:使用free list 管理空闲内存

image-20220514171837011

Compact GC:原地整理对象

image-20220514171920468

分代GC

  • 分代假说：很多对象会在年轻的时候即死亡，例如调用函数的参数，局部变量
  • Intuition：很多对象在分配出来后很快就不再使用了
  • 每个对象的年龄定义为：经历GC的次数
  • 目的：对年轻和老年的对象，使用不同的GC策略，降低整体内存管理的开销
  • 让不同年龄的对象处于heap的不同区域

eg:

  • 年轻代：

    • 常规的对象分配
    • 由于存活对象很少，可以使用copying collection
    • GC的吞吐量高

  • 老年代

    • 对象趋于一直存活，反复复制的开销较大
    • 可以采用 mark-sweep collection

image-20220514171837011

引用计数

  • 每个对象都有一个与之关联的引用数目

  • 对象存活的的条件：当且仅当引用数大于0

  • 优点

    • 内存管理的操作被平摊到程序执行过程中
    • 内存管理不需要了解runtime的实现细节，例如智能指针

  • 缺点：

    • 维护引用计数的开销较大：通过原子操作保证对引用计数操作的原子性和可见性
    • 无法回收环形数据结构----使用weak reference解决
    • 内存开销：每个对象都引入的额外内存空间存储引用数目
    • 回收内存时依然可能引发暂停
      • 例如一个较大的数据结构的根节点被回收，紧接着与之相连的节点全部都需要进行回收

    image-20220514174036066

Go内存管理和优化

Go内存管理--- 分块

  • 目标：为对象在heap上分配内存
  • 提前将内存分块
    • 调用系统调用mmap()，向OS申请一大块内存，例如 4MB
    • 先将内存划分成大块，例如8KB,称作mspan
    • 再将大块继续划分为特定大小的小块，用于对象分配
    • noscna mspan： 分配不包含指针的对象----GC不需要扫描
    • scan mspan : 分配包含指针的对象-----GC需要扫描
  • 对象分配：根据对象的大小，选择最合适的块返回

image-20220514223351645

Go内存管理--- 缓存

  • TCMalloc: thread caching
  • 每个p包含一个mcache用于快速分配，用于为绑定与p上的g分配对象
  • mcache管理一组mspan
  • 当mcache中的mspan分配完毕，向mcentral申请带有未分配块的mspan
  • 当mspan中没有分配的对象，msoan会被缓存在mcentral中，而不是立刻释放并归还给OS

image-20220514223812158

Go对象分配的性能问题

  • 对象分配是非常高频的操作:每秒分配GB级别的内存
  • 小对象占比比较高
  • Go内存分配比较耗时
    • 分配路径较长：g -> m -> p -> mcache -> mspan -> memory block -> return pointer
    • pprof:对象分配的函数是频繁调用的函数之一

Balanced GC

字节跳动的一个优化方案

  • 每个g都绑定一大块内存（1KB），称作 goroutine allocation buffer (GAB)

  • GAB用于noscan类型的小对象分配： < 128B

  • 使用三个指针维护GAB： base,end,top

  • Bunp pointe(指针碰撞)风格对象分配

    • 无需和其他分配请求互斥

    • 分配动作简单高效

      •   if top + size <= end{
      addr := top
      top += size
      return addr
  }

image-20220514224544711

  • GAB对于GO内存管理来说是一个对象

  • 本质： 将多个小对象的分配合并成一次大对象的分配

  • 问题：GAB的对象分配方式会导致内存被延迟释放

  • 解决方案： 移动GAB中存活的对象

    • 当GAB总大小超过一堆阈值时,将GAB中存活的对象复制到另外的GAB中
    • 原先的GAB可以释放，避免内存泄漏
    • 本质： 用copying GC的算法管理小对象---根据生命周期，使用不同标记的清理策略

    image-20220514224917095

感谢

字节跳动青训营，如有侵权请联系我

avatar
文章
阅读
粉丝