后端day5-内存管理与编译器优化 ｜ 青训营笔记

冷初初初
148 阅读5分钟

这是我参与「第五届青训营」伴学笔记创作活动的第 5 天

一、本堂课重点内容

本节课程主要分为四个方面：

  1. 自动内存管理
  2. Go 内存管理及优化
  3. 编译器和静态分析
  4. Go 编译器优化

二、详细知识点介绍

1. 术语解读
2. 性能优化

  • 优化的层次

    • 业务层优化

      • 针对特定场景，具体问题，具体分析
      • 容易获得较大性能收益

    • 语言运行时优化

      • 解决更通用的性能问题
      • 考虑更多场景

    • 共性：数据驱动，依赖数据而非猜测，首先优化最大瓶颈。

  • 优化的同时保证软件质量

    • 保证接口稳定的前提下改进实现。
    • 测试时要覆盖尽可能多的场景。
    • 通过清晰的文档告诉用户这一项优化做了什么 ， 没做什么 ， 能达到怎样的效果。
    • 优化代码用选项和原先的路径隔离，保证优化未启用时的行为同以前一致。
    • 可观测、可灰度、可回滚。
3. 自动内存管理

  • 概念：由程序语言的运行时系统管理动态内存。

    • 避免手动内存管理，专注于实现业务逻辑；
    • 保证内存使用的正确性和安全性。

  • 主要任务

    • 为新对象分配空间。
    • 找到存活对象。
    • 回收死亡对象的内存空间。

  • 评价GC算法

    • 安全性：不能回收存活的对象（基本要求）。
    • 吞吐率：1 - GC时间/程序执行总时间
    • 暂停时间：业务是否能感知。
    • 内存开销：GC元数据开销。

  • 追踪垃圾回收算法

    • 对象被回收的条件：指针指向关系不可达的对象。

    • 流程

      • 标记根对象：全局变量、静态变量、常量、线程栈等。

      • 找到可达对象：求指针指向关系的传递闭包。

      • 清理所有不可达对象

        • Copying GC：将存活对象从一块内存空间复制到另外一块内存空间，原先的空间可以直接进行对象分配。
        • Mark-sweep GC：将死亡对象所在内存块标记为可分配，使用 free list 管理可分配的空间。
        • Mark-compact GC：将存活对象复制到同一块内存区域的开头。

    • 选择清理的方法：eg. 分代假说

      • 假说内容：很多对象在分配出来后很快就不再使用了。
      • 每个对象都有年龄，即经历过GC的次数。
      • 对于年轻代，由于存活对象很少，可以使用Copying GC。
      • 对于老年代，对象趋于一直存活，反复复制开销较大，可以采用Mark-sweep GC。

  • 引用计数算法

    • 对象被回收的条件：每个对象都有一个与之关联的引用数目，当且仅当引用数大于 0 时对象存活。

    • 优点

      • 内存管理的操作被平摊到程序运行中：指针传递的过程中进行引用计数的增减。
      • 不需要了解 runtime 的细节：因为不需要标记 GC roots，因此不需要知道哪里是全局变量、线程栈等。

    • 缺点

      • 开销大，需要通过原子操作保证引用计数的原子性和可见性。
      • 无法回收环形数据结构。
      • 内存开销大，每个对象都引入了额外的内存空间来存储引用数目。
      • 回收大的数据结构时可能引发暂停。
4. Go 内存管理及优化

  • Go的内存分配方式

    • 内存分块

      • 提前将内存分块，先将内存划分为大块，称作mspan；再将大块继续划分为特定大小的小块，对于对象分配。
      • noscan mspan: 分配不包含指针的对象 —— GC 不需要扫描。
      • scan mspan: 分配包含指针的对象 —— GC 需要扫描。
      • 根据对象的大小，选择最合适的块返回。

    • 内存缓存

      • mspan, mcache 和 mcentral构成了Go内存管理的多级缓存机制，从 OS 分配得的内存被内存管理回收后，也不会立刻归还给 OS，而是在 Go runtime 内部先缓存起来，从而避免频繁向 OS 申请内存。
      • mcache管理一组mspan，分配完毕后，向mcentral申请带有未分配块的mspan。

  • Go的内存管理优化

    • 问题

      • 分配路径过长。
      • 小对象分配占大多数。

    • 字节跳动的优化方案：Balanced GC

5. 编译器和静态分析

  • 编译器的结构

    img

  • 静态分析：不执行程序代码，推导程序的行为，分析程序的性质。

    • 通过分析控制流和数据流，我们可以知道更多程序的性质，这些事实可以帮助我们做编译优化。

      • 控制流分析：分析程序执行的流程。
      • 数据流分析：分析数据在控制流上的传递。

    • 过程内分析和过程间分析

      • 过程内分析：仅在函数内部进行分析。
      • 过程间分析：除了函数内的分析，还需要考虑跨函数的数据流和控制流，例如参数传递，函数返回值等。
6. Go编译器优化

  • 函数内联

    • 定义：将被调用函数的函数体的副本替换到调用位置上，同时重写代码以反映参数的绑定。

    • 优点

      • 消除调用开销。
      • 将过程间分析的问题转换为过程内分析，帮助其他分析。

    • 缺点

      • 函数体变大。
      • 编译生成的 Go 镜像文件变大。

    • 采取一定的策略决定是否内联：调用和被调用函数的规模。

  • 逃逸分析

    • 定义：分析代码中指针的动态作用域，即指针在何处可以被访问。

    • 思路

      • 从对象分配处出发，沿着控制流，观察数据流。若发现指针 p 在当前作用域 s：

        • 作为参数传递给其他函数；
        • 传递给全局变量；
        • 传递给其他的 goroutine;
        • 传递给已逃逸的指针指向的对象。

      • 则指针 p 逃逸出 s，反之则没有逃逸出 s。

    • 优化：未逃逸出当前函数的指针指向的对象可以在栈上分配。

      • 对象在栈上分配和回收很快：移动 sp 即可完成内存的分配和回收；
      • 减少在堆上分配对象，降低 GC 负担。
avatar
文章
阅读
粉丝