高性能Go语言发行版优化与落地实践 | 青训营笔记

102 阅读4分钟

这是我参与「第三届青训营 -后端场」笔记创作活动的的第4篇笔记

00 追求极致性能

性能优化

  • 提升软件系统处理能力,减少不必要的消耗,充分发挥计算机能力
  • 用户体验提升,资源高效利用

性能优化的层面

image-20220514195243077

性能优化与软件质量

  • 软件质量至关重要
  • 在保证接口稳定的前提下改进具体实现
  • 测试用例:覆盖尽可能多的场景,方便回归
  • 文档:做了什么,没做什么,能达到怎样的效果
  • 隔离:通过选项控制是否开启优化
  • 可观测:必要的日志输出

01 自动内存管理

1.1自动管理内存

  • 动态内存

    • 程序在运行时根据需求动态分配的内存:malloc()
  • 自动内存管理(垃圾回收):由程序语言的运行时系统回收动态内存

    • 避免手动内存管理,专注于实现业务逻辑
    • 保证内存使用的正确性安全性:double-free problem,use-after-free problem
  • 三个任务

    • 为新对象分配空间
    • 找到存活对象
    • 回收死亡对象的内存空间
  • 相关概念

    • Mutator:业务线程,分配新对象,修改对象指向关系

    • Collector:GC线程,找到存活对象,回收死亡对象的内存空间

    • Serial GC:只有一个collector

    • Parallel GC:支持多个collectors同时回收的GC算法

    • Concurrent GC:mutator(s) 和 collector(s)可以同时执行

      • Collectors必须感知对象指向关系的改变!
    • image-20220514202002706

    • 评价GC算法

      • 安全性、吞吐率、暂停时间、内存开销

    The Garbage Collection Handbook

1.2 追踪垃圾回收

  • 对象被回收的条件:指针指向关系不可达的对象

  • 标记根对象

    • 静态变量、全局变量、常量、线程栈等
  • 标记:找到可达对象

  • 清理:所有不可达对象

1.3 分代GC(Generational GC)

  • 分代假说:most objects die young
  • 每个对象都有年龄:经历过GC的次数
  • 目的:针对年轻和老年的对象,制定不同的GC策略,降低整体内存管理的开销
  • 不同年龄的对象处于heap的不同区域

1.4 引用计数

  • 每个对象都有一个与之关联的引用数目
  • 对象存活的条件:当且仅当引用数大于 0

02 Go内存管理及优化

2.1 Go内存分配

分块

  • 目标:为对象在 heap 上分配内存
  • 提前将内存分块
  • 对象分配:根据对象的大小,选择最合适的块返回

缓存

Go 内存管理构成了多级缓存机制,从 OS 分配得的内存被内存管理回收后,也不会立刻归还给 OS,而是在 Go runtime 内部先缓存起来,从而避免频繁向 OS 申请内存。

2.2 Go内存管理优化

  • 对象分配是非常高频的操作:每秒分配 GB 级别的内存
  • 小对象占比高

    • 优化分配小对象是关键
  • Go内存分配比较耗时

2.3 字节跳动的优化方案

Balanced GC

03 编译器和静态分析

3.1 编译器的结构

  • 重要的系统软件

    • 识别符合语法和非法的程序
    • 生成正确且高效的代码
  • 分析部分(前端front end)

    • 词法分析,生成词素(lexeme)
    • 语法分析,生成语法树
    • 语义分析,收集类型信息,进行语义检查
    • 中间代码生成,生成intermediate representation(IR)
  • 综合部分(后端back end)

    • 代码优化,机器无关优化,生成优化后的IR
    • 代码生成,生成目标代码
  • image-20220514223538701

3.2 静态分析

  • 静态分析:不执行代码,推导程序的行为,分析程序的性质。
  • 控制流:程序的执行流程
  • 数据流:数据在控制流上的传递

3.3 过程内分析和过程间分析

  • 过程内分析

    • 仅在函数内部进行分析
  • 过程间分析

    • 考虑过程调用时参数传递和返回值的数据流和控制流
    • 需要同时分析控制流和数据流——联合求解,比较复杂

04 Go编译器优化

4.1 函数内联(Inlining)

定义:将被调用函数的函数体的副本替换到调用位置上,同时重写代码以反映参数的绑定

  • 优点

    • 消除调用开销
    • 将过程间分析的问题转换为过程内分析,帮助其他分析
  • 缺点

    • 函数体变大
    • 编译生成的 Go 镜像文件变大

函数内联在大多数情况下是正向优化,多内联,会提升性能

4.2 逃逸分析

定义:分析代码中指针的动态作用域,即指针在何处可以被访问

优化:未逃逸出当前函数的指针指向的对象可以在栈上分配

  • 对象在栈上分配和回收很快:移动 sp 即可完成内存的分配和回收;
  • 减少在堆上分配对象,降低 GC 负担。