第四节：高性能 Go 语言发行版优化与落地实践

该用户已隐身
147 阅读12分钟

根据【Go 语言原理与实践学习资料（下）】第三届字节跳动青训营-后端专场 - 掘金 (juejin.cn)做的笔记

引言：

  • 什么是性能优化？
    • 提升软件系统处理能力，减少不必要的消耗。
  • 为什么要做性能优化？
    • 增加用户体验
    • 高效利用资源，降低成本，提高效率

软件基本结构：【性能优化两个层面】

  • 业务代码：直接处理用户请求
    • 业务层优化：针对特定场景，具体问题具体分析
  • SDK：
  • 基础库：
  • 语言运行时：
    • 语言运行时优化：解决通用的性能问题
  • OS：

性能优化与软件质量：可维护性

  • Go SDK进行修改，加入新的接口，保证接口稳定的情况下进行新的实现
  • 测试驱动开发
  • 隔离：通过选项控制是否开启优化。例如在不开优化的时候要保证行为和之前一样。

一、自动内存管理

1. 概念：

  • 动态内存：程序在运行时根据需求动态分配内存malloc()
  • 自动内存管理(垃圾回收)：避免手动内存管理（例如c语言的malloc和free就是手动内存管理，这对使用者的要求较高，如果malloc之后忘记即时free则会造成内存泄漏），能够专注实现业务逻辑，以及避免申请和释放内存之间操作上的问题 (安全性问题：double free problem，use-after-free problem)。

【个人观点】：c++11之后的shared_ptr能够实现在不需要的时候自动释放内存，但是比起go语言的内存管理机制来讲还是有点麻烦

  • 内存管理的三个任务：

    • 为新对象分配空间
    • 找到存活对象
    • 回收死亡对象的内存空间 【个人观点】：这里还是使用c++类比，例如智能指针std::shared_ptr<int> a = std::make_shared<int>(10);就是为一个int类型的对象分配了空间，c++采用引用计数的方式，只要程序中还在使用这个变量，就不会进行析构，也就是回收对象的空间。上文的"存活"和”死亡“我的理解是引用计数不为0和为0的情况，也就是程序中是否还有在使用这个对象。

  • 相关名词及解释：

    • Mutator：业务线程，负责分配新对象，修改对象指向关系
    • Collector：GC线程，找到存活对象，回收死亡对象的内存空间。 GC：garbage collectioin垃圾回收

    【？】“修改对象指向空间”又应该怎么解释？是指的是指针对象修改指向吗？

在不管是哪种GC，在开始和结束的时候都需要stop the world（STW）

  • serial GC：只有一个collector image.png

从serial GC图可以看到业务线程和GC线程不能同时运行，运行GC线程的时候业务线程都会中断一段时间。特点：执行时候mutator会暂停，且只有一个collector

  • parallel GC: 可以允许多个collector同时进行回收

image.png

parallel GC图可以看到业务线程和GC线程跟serial GC一样，都不能同时运行，运行GC线程的时候业务线程会中断一段时间，不过这里允许有多个GC线程一起处理死亡对象，进行空间回收，这样的回收速度也会加快。

  • Concurrent GC: 并发 GC，支持 mutator(s) 和 collector(s) 同时执行的 GC 算法
    • Golang就是用concurrent GC

image.png

在这过程中，Colloctor必须感知对象指向关系的改变，如下图中的b，就必须被标记为存活对象，在GC过程中增加的对象都要被标记为存活对象。

image.png

2. 追踪垃圾回收

  • Tracing garbage collection : 追踪垃圾回收

  • 回收条件：不可达对象

  • 过程：

    • (1) 标记根对象（GC root）：所谓的根对象就是指【静态变量，全局变量，常量，线程栈等】

    • (2) 标记可达对象：找到所有可达对象

    • (3) 清理：除了可达对象之外那就是不可达对象了。回收所有不可达对象的空间

      • 清理的方式有三种：
      • Copying GC：把存活对象从一块内存空间复制到另一块内存空间中，原先的空间可以进行对象分配
      • image.png
      • Mark—compact GC：将存活对象复制到同一块内存区域的开头
      • image.png
      • Mark-sweep GC: 将死亡对象所在内存块标记为可分配，使用 free list 管理可分配的空间
      • image.png

    • 根据对象的声明周期，使用不同的标记和清理策略

【个人观点】：可以看出来，头两种方法都涉及到对象的复制，这可能会消耗大量时间，好处清理之后的内存空间是连续的；最后一种不用复制对象，是吧可以分配的内存空间用列表记录下来，坏处是这样导致的内存空间是不连续的。

分代GC：

  • 分代假说：most objects die young

  • 每个对象的年龄：经历过的GC的次数

  • 目的：年轻和老的对象指定不同的GC策略，降低整体内存管理开销

  • 不同的年龄的对象处于heap的不同区域

  • Young generation：

  • 常规对象分配

  • 存活对象少，用copying gc

  • GC吞吐率高

  • 年老对象

    • 趋于一直活着
    • 采用mark-sweep GC

3. 引用计数

【引用计数就是c++11的智能指针所采用的方法】

  • 每个对象都有一个与之关联的引用数目
  • 对象存活的条件：当且仅当引用数大于 0 【c++11中shared_ptr对象就能通过xx.use_count()来查看引用计数】

  • 优点

    • 内存管理的操作被平摊到程序运行中：指针传递的过程中进行引用计数的增减 【不需要单独的Collector线程来进行回收，程序一边执行，内存管理也就好了】
    • 不需要了解 runtime 的细节：因为不需要标记 GC roots，因此不需要知道哪里是全局变量、线程栈等

  • 缺点

    • 开销大，因为对象可能会被多线程访问，对引用计数的修改需要原子操作保证原子性和可见性
    • 无法回收环形数据结构 【因为环形数据结构的每一个对象都被另一个对象所引用，所以不解开环的情况下不会自发的析构】
    • 每个对象都引入额外存储空间存储引用计数
    • 虽然引用计数的操作被平摊到程序运行过程中，但是回收大的数据结构依然可能引发暂停

二、Go内存管理及优化

1. Go内存管理：

【Golang 的内存管理本质上就是一个内存池】

  • 目标：为对象在堆上分配内存

  • 提前将内存分块

    • GC扫描：需要做追踪。

  • 缓存：

  • 优化：

    • 对象分配是高频操作：每秒GB级别操作
    • 小对象占比高
    • GO内存分配较为耗时
    • 字节跳动

三、编译器和静态分析

  • 编译器结构

image.png

  • 静态分析：不执行代码，推导程序的行为，分析程序的性质。
  • 控制流：程序的执行流程
  • 数据流：数据在控制流上的传递

  • 通过分析控制流和数据流，我们可以知道更多关于程序的性质(properties)  ，这些事实可以帮助我们做编译优化。

  • 过程内分析和过程间分析

四、编译器优化

目标 ： 用适当增加编译时间换取更高性能的代码

方法：

1. 函数内联

  • 定义：将被调用函数的函数体的副本替换到调用位置上，同时重写代码以反映参数的绑定

  • 优点

    • 消除调用开销 【调用函数需要额外的开销，而如果把调用内容直接写入响应位置则不需要这部分开销】
    • 将过程间分析的问题转换为过程内分析，帮助其他分析

  • 缺点

    • 函数体变大
    • 编译生成的 Go 镜像文件变大

  • 函数内联在大多数情况下是正向优化，即内联会提升性能。

  • 什么因素决定是否内联：

    • 调用和被调用函数的规模

  • Go 内联的限制

    • 语言特性：interface, defer 等等，限制了内联优化
    • 内联策略非常保守 【？】什么内联策略？
  • 字节的优化方案：
    • 修改了内联策略，让更多函数被内联
    • 增加了其他优化的机会：逃逸分析 【修改了哪部分的内联策略。增加逃逸分析优化机会：因为内联了所以减少了一部分的逃逸分析？】

  • 开销

    • Go 镜像大小略有增加
    • 编译时间增加
    • 运行时栈扩展开销增加 【因为函数体变大了所以栈扩展开销变大？】

2. 逃逸分析

  • 逃逸：一个值被分享到函数栈帧范围之外，它都会在堆上被重新分配。 【例如在函数中返回了结果的指针，使得这个在函数内定义的值能够被函数体外访问，那就是逃逸了。Golang的GC使得能够逃逸，如果放在c++中，除非采用智能指针，否则会造成访问错误】

  • 逃逸分析：分析代码中指针的动态作用域，即指针在何处可以被访问

  • 大致思路

  • 从对象分配处出发，沿着控制流，观察数据流。若发现指针 p 在当前作用域 s:

    • 作为参数传递给其他函数；
    • 传递给全局变量；
    • 传递给其他的 goroutine;
    • 传递给已逃逸的指针指向的对象；

  • 则指针 p 逃逸出 s，反之则没有逃逸出 s. 【这样指针p指向的对象会被分配在堆上，因为分配在栈上的话离开这个作用域内存就会被自动收回了。】

  • 优化：未逃逸出当前函数的指针指向的对象可以在栈上分配

    • 对象在栈上分配和回收很快：移动 sp 即可完成内存的分配和回收；
    • 减少在堆上分配对象，降低 GC 负担。

【所以优化的方式就是减少逃逸的发送？】

五、课后作业：

1. 从业务层和语言运行时层进行优化分别有什么特点？

业务层优化是针对特定场景的，需要具体问题具体分析，语言运行时层是解决通用的性能问题

2. 从软件工程的角度出发，为了保证语言 SDK 的可维护性和可拓展性，在进行运行时优化时需要注意什么？

3. 自动内存管理技术从大类上分为哪两种，每一种技术的特点以及优缺点有哪些

  • 一是类似于C++11智能指针的“引用计数方法”
  • 优点缺点上边有说
  • 另一类是golang采用的“追踪垃圾回收”
  • 优点：不用频繁更新引用计数，能够回收环形结构
  • 缺点：内存占用大，GC有一个回收的触发值。响应时间长。可能会造成泄漏。

4. 什么是分代假说？分代 GC 的初衷是为了解决什么样的问题？

  • 分代假说：实际上是一种GC运行时的经验法则

  • 弱分代假说认为，程序中的大多数可回收的内存，大部分对象很快就不再使用，还有一部分不会立即无用,但也不会持续(太)长时间

  • 强分代假说：熬过越多次垃圾收集过程的对象就越难以消亡。

  • 跨代引用假说：存在互相引用关系的两个对象，是应该倾向于同时生存或者同时消亡的*

  • 分代算法将内存区域分为两部分：新生代和老年代。

  • 分代算法会根据新生代和老年代中对象的不同特点，使用不同的GC算法。

    • 复制算法适用于每次回收时，存活对象少的场景(年轻代)，这样就会减少复制量。
    • 标记压缩算法适用于回收时，存活对象多的场景(老年代)，这样就会减少内存碎片的产生，碎片整理的代价就会小很多。

分代GC是为了解决不同GC算法解决不同对象的回收问题。

5. Go 是如何管理和组织内存的？

Go采用分块和缓存的策略

这篇从内存管理基础到golang的内存模型讲的很细 详解Go语言的内存模型及堆的分配管理 - 知乎 (zhihu.com)

6. 为什么采用 bump-pointer 的方式分配内存会很快？

对于小对象的分配不需要采用Go内置的内存分配路径，只需要从g->GAM，分配动作简单高效，而且无需和其他分配请求互斥

7. 为什么我们需要在编译器优化中进行静态代码分析？

能够从逻辑上对代码进行优化

8. 函数内联是什么，这项优化的优缺点是什么？

就是编译时直接在代码这里把函数展开，而不是以调用的方式进行。 优点是减少函数调用的开销，缺点是函数体变大。

9. 什么是逃逸分析？逃逸分析是如何提升代码性能的？

分析代码中指针的动态作用域，即指针在何处可以被访问。 未逃逸出当前函数的指针指向的对象可以在栈上分配，以此提升代码性能。

avatar
文章
阅读
粉丝