Go 语言内存管理详解 | 青训营笔记

76 阅读5分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第5天

主要记录课程的重点和课上所讲项目的每一步以及我的思考

1.性能优化

性能优化就是提升软件系统处理能力,减少不必要的消耗,充分发掘计算机算力。

性能优化主要是为了

(1)带来用户体验的提升 -让刷抖音更丝滑,让双十一购物不再卡顿 (2)降低成本,提高效率 -很小的优化乘以海量机器会是显著的性能提升和成本节约

性能优化的层面

主要有业务代码,SDK,基础库,语言运行时,OS五个层面。

  • 业务层优化
    • 针对特定场景,具体问题,具体分析
    • 容易获得较大性能收益
  • 语言运行时优化
    • 解决更通用的性能问题
    • 考虑更多场景
    • Tradeoffs
  • 数据驱动
    • 自动化性能分析工具 - pprof
    • 依靠数据而非猜测
    • 首先优化最大瓶颈

性能优化与软件质量

  • 软件质量至关重要
  • 在保证借口稳定的前提下改进具体实现
  • 测试用例:覆盖尽可能多的场景,方便回归
  • 文档:做了什么,没做什么,能达到怎样的效果
  • 隔离:通过选项控制是否开启优化
  • 可观测:必要的日志输出

2.自动内存管理

  • 动态内存
    • 程序在运行时根据需求动态分配的内存:malloc()
  • 自动内存管理(垃圾回收):由程序语言的运行时系统回收动态内存
    • 避免手动内存管理,专注于实现业务逻辑
    • 保证内存使用的正确性和安全性:double-free problem,use-after-free problem
  • 三个任务
    • 为新对象分配空间
    • 找到存活对象
    • 回收死亡对象的内存空间

相关概念

  • Concurrently:并行执行命令模块,可以同时执行多个命令
  • Mutator threads:独享线程

评价一个GC算法要考虑以下几点

  • 安全性(Safety):不能回收存活的对象
  • 吞吐率(Throughput):花在GC上的时间与程序执行总时间的比例
  • 暂停时间(Pause time):业务是否感知
  • 内存开销:GC元数据开销

追踪垃圾回收

  • 对象被回收的条件:指针指向关系不可达的对象
  • 标记跟对象
    • 静态变量、全局变量、常量、线程栈等
  • 标记:找到可达对象
    • 求指针指向关系的传递闭包:从根对象处罚,找到所有可达对象
  • 清理:所有不可达对象
    • 将存活对象复制到另外的内存空间
    • 将死亡对象的内存标记为“可分配”
    • 移动并整理存活对象
  • 根据对象的生命周期,使用不同的标记和清理策略

分代GC(Generation GC)

分代 GC 的设计来源于分代假说(Generational hypothesis),即大多数对象在很短的生命周期内就会死亡,分配出来后很快就不再使用了。通过为年轻和老年的对象指定不同的 GC 策略,降低整体内存管理的开销。

  • 年轻代(Young generation)
    • 常规的对象分配
    • 由于存活对象很少,可以采用copying collection
    • GC吞吐率很高
  • 老年代(Old generation)
    • 对象趋向于一直活着,反复复制开销较大
    • 可以采用mark-sweep collection

引用计数

  • 每个对象都有一个与之关联的引用数目
  • 对象存活的条件:当且仅当引用数大于0
  • 优点
    • 内存管理的操作被平摊到程序执行过程中
    • 内存管理不需要了解runtime的实现细节,C++智能指针
  • 缺点
    • 维护引用计数的开销较大:通过原子操作保证对引用计数的原子性和可见性
    • 无法回收环形数据结构——weak reference
    • 内存开销:每个对象都引入的额外内存空间存储引用数目
    • 回收内存时依然可能引发暂停

3.Go内存管理及优化

Go内存分配-分块

目标:为对象在heap上分配内存 提前将内存分块

  • 调用系统调用mmap()向OS申请一大块内存,例如4MB

  • 先将内存划分成大块,例如8KB,称作mspan

  • 再继续将大块划分成特定大小的小块,用于按需对象的分配

  • noscan mspan:分配不包含指针的对象——GC不需要扫描

  • scan mspan:分配包含指针的对象——GC需要扫描

对象分配:根据对象的大小,选择最合适的块返回

Go内存分配-缓存

  • TCMalloc:thread caching

  • 每个p包含一个mcache用于快速分配,用于为绑定于p上的g分配对象

  • mcache管理一组mspan

  • 当mcache中的mspan分配完毕,向mcentral申请带有未分配块的mspan

  • 当mspan中没有分配的对象,mspan会被缓存在mcentral中,而不是立刻释放并归还给OS

4.编译器和静态分析

编译器的结构

  • 重要的系统软件

    • 识别符合语法和非法的程序
    • 生成正确且高效的代码
  • 分析部分:(前端 front end)

    • 词法分析:生成词素(lexeme)
    • 语法分析:生成语法树
    • 语义分析:收集类型信息,进行语义检查
    • 中间代码生成:生成intermediate representation(IR)
  • 综合部分:(后端 back end)

    • 代码优化:机器无关代码,生成优化后的IR
    • 代码生成:生成目标代码

静态分析

  • 静态分析:不执行程序代码,推导程序的行为,分析程序的性质。
  • 控制流(Control flow):程序执行的流程
  • 数据流(Dataflow):数据在控制流上的传递

Go编译器优化

作用:1.重新编译即可获得性能收益2.通用性优化

现状:采用的优化少;编译时间较短,没有进行较复杂的代码分析和优化

思路:

  • 场景:面向后端长期执行任务
  • Tradeoff:用编译时间换取更高效的机器码

总结

今天的课概念比较多,主要是思路的讲解,听上去感觉没有那么复杂,实际上不是,需要课程后多思考回顾。

引用

该文章部分内容来自于以下内容或网页

  • 字节内部课:Go语言内存管理详解