内存管理优化 | 青训营笔记

用户5477262117342
119 阅读5分钟

这是我参与「第五届青训营」伴学笔记创作活动的第 5 天

性能优化

  • 性能优化是什么

    找到并减少模块，组件中不必要的消耗，从而总体上提升软件系统的处理能力，充分发挥计算机的算力

  • 为什么做性能优化

    性能优化提升了软件系统的处理能力，用户体验提升，资源高效利用

  • 如何做性能优化

    1. 业务层优化

      针对特定场景，具体问题，具体分析容易获得较大性能收益

    2. 语言运行时优化

      考虑更多场景，解决更通用的性能问题

    3. 用数据驱动优化

      自动化性能分析工具 - pprof；

      依靠数据而非猜测；

      首先优化最大瓶颈

Go SDK优化

所有的go程序员都要使用，因此它的性能优化就十分重要

  • 优化策略：

    1.必须在保证接口稳定的前提下改进具体实现

    2.测试驱动优化，测试覆盖尽可能多的场景，方便回归

    3.优化代码隔离性，通过选项控制是否开启优化

    4.优化功能可观测，必要的日志输出

    5.用户文档，做了那么，没做什么，能达到怎样的效果 image.png

自动内存管理

基本概念

  • 动态内存

    程序在运行时根据需求动态分配的内存: malloc()

  • 自动内存管理 (垃圾回收)

    由程序语言的运行时系统管理动态内存避免手动内存管理，降低程序员开发负担，专注于实现业务逻辑；

    保证内存使用的正确性和安全性: double-free problem, use-after-free problem

    • 三个任务

    为新对象分配空间；找到存活对象；回收死亡对象的内存空间

  • 相关概念

    Mutator: 业务线程，分配新对象，修改对象指向关系

    Collector: GC 线程，找到存活对象，回收死亡对象的内存空间

    Serial GC: 只有一个 collector

    Parallel GC: 支持多个 collectors 同时回收的 GC 算法

    Concurrent GC: mutator(s) 和 collector(s) 可以同时执行；难点： collector必须感知对象指向关系的改变 image.png

GC算法评价指标

安全性safety:不能回收存活对象，基本要求

吞吐率throughput:1−GC/程序执行时间1-GC/程序执行时间，花在GC时间

暂停时间 pause time：stop the world(STW)，业务是否感知

内存开销 space overhead，GC元数据开销

常见GC技术

  • 追踪垃圾回收tracing garbage collection

    当一个对象通过指针关系不可达后，该对象可被回收。

    • 三个步骤

    1.标记根对象

    将静态变量、全局变量、常量、线程栈等指针指向的对象标为存活，这些对象在程序后续执行有可能用到

    2.标记可达对象

    从根对象出发，根据指针关系，找到所有可达对象

    3.清理所有不可达对象

    将存活对象复制到另外的内存空间(Copying GC)

    将死亡对象的内存标记为"可分配”(Mark-sweep GC)，使用free list管理空闲内存

    移动并整理存活对象(Mark-compact GC)，原地整理对象，存活的拷贝到空间起始位置

    以上清理策略，根据对象的生命周期，使用不同的标记和清理策略。

    • 举例： 分代GC（Generational GC）

      基于分代假说：most objects die young，很多对象分配出来后很快就不再使用了；

      每个对象都有年龄：经历GC的次数；将年轻和年老的对象分在不同的内存区域，制定不同的GC策略，降低整体内存管理的开销；

      年轻代(Young generation) 常规的对象分配。由于存活对象很少，可以采用 copying collection，GC 吞吐率很高

      老年代(Old generation) 对象趋向于一直活着，反复复制开销较大，可以采用 mark-sweep collection

  • 引用计数reference counting

    每个对象都有一个与之关联的引用数目。对象存活的条件，当且仅当引用数大于0

    • 优点：

    内存管理的操作被平摊到程序执行过程中；

    内存管理不需要了解runtime的实现细节

    • 缺点：

    维护引用计数的开销较大: 通过原子操作保证对引用计数操作的原子性和可见性

    无法回收环形数据结构 -- weak reference

    内存开销: 每个对象都引入的额外内存空间存储引用数目

    回收内存时依然可能引发暂停

内存分配

为对象在heap上分配内存，提前将内存分块，来对象时分配大小相近的块

分配方法

  1. 提前将内存分块

    调用系统调用 mmap() 向 OS 申请一大块内存，例如 4 MB

    先将内存划分成大块，例如 8 KB，称作 mspan

    再将大块继续划分成特定大小的小块，用于对象分配

    noscan mspan: 分配不包含指针的对象- GC不需要扫描

    scan mspan: 分配包含指针的对象_ GC 需要扫描

  2. 缓存 从g出发，找到m，再找到p，每个p上有个数据结构mcache，存有一组mspan，有不同的大小，用于为绑定与p上的g分配对象。若mcache中分配完毕，向mcentral申请带有未分配块的mspan。当mspan中没有分配的对象，mspan会被缓存在mcentral中，而不是立即释放并归还给OS。

内存管理优化

问题：

1.对象分配是非常高频的操作，每秒分配GB级别的内存，因此对内存分配的优化就十分关键。 2.小对象占比高 3.Go内存分配比较耗时，分配路径长：g ->m ->p ->mcache ->mspan -> memory block -> return pointer；对象分配的函数是最频繁调用的函数之一。

Balanced GC

字节跳动对象分配优化方案 指针碰撞风格的对象分配；实现了copying GC

小结

学习了go sdk的优化策略，了解了常见的GC技术和对象分配技术，牛逼，我太菜就不考虑这些了，就当增长见识，知道就好。

avatar
文章
阅读
粉丝