高性能Go语言发行版优化与落地实践|青训营笔记(一)

华科计科第二人
156 阅读10分钟

这是我参与「第三届青训营 -后端场」笔记创作活动的的第一篇笔记。

课程回顾

上节课:高质量编程与性能调优实战

高质量编程：

1、编码规范：写出高性能、可维护的代码
2、性能优化建议

性能优化：

1、分析工具——pprof:采样原理、如何定位性能问题等等
2、业务优化
3、基础库优化
4、**Go语言优化**

你能学到什么

本节课程：高性能Go语言发行版优化与落地实践 优化

内存管理优化

编译器优化

背景：

自动内存管理与Go内存管理机制

编译器优化的基本问题和思路

实践：字节跳动遇到的性能问题与解决方案

追求极致性能

·性能优化是什么

提升软件系统处理能力，减少不必要的消耗，充分挖掘计算机算力

·为什么要优化性能

用户体验：带来用户的体验提升-让刷抖音更丝滑，让双十一购物不再卡顿

资源高效利用：降低成本，提高效率——很小的优化乘以海量机器会是显著的性能提升和成本节约

性能优化层面

业务优化 SDK 基础库 语言运行时 OS

业务层优化

针对特定场景，具体问题，具体分析

容易获得较大的性能收益

语言运行时优化

解决更通用的性能问题

考虑更多场景

Tradeoffs

数据驱动

自动化性能分析工具——pprof

依靠数据而非猜测

首先优化最大瓶颈

性能优化的可维护性

1.PNG

总结

性能优化的基本问题

性能优化的两个层面

性能优化的可维护性

1.自动内存管理

1.1 自动内存管理

·动态内存

程序在运行时根据需求动态分配的内存：malloc()

·自动内存管理（垃圾回收）：由程序语言的运行时系统回收动态内存

避免了手动内存管理，专注于实现业务逻辑 保证内存使用的正确性与安全性：double-free problem, use-after-free problem

三个任务 1、为新对象分配空间 2、找到存活对象 3、回收死亡对象的内存空间

1.1 自动内存管理-相关概念

  • Mutator：业务线程，分配新对象，修改对象指向关系

  • Collector：GC线程，找到存活对象，回收死亡对象的内存空间

  • Serial GC:只有一个collector

  • Parallel GC:支持多个collectors同时回收的GC算法

  • Concurrent GC:Mutators和Collectors可以同时执行

  • Collectors必须感知对象指向关系的改变

2.PNG

  • 评价GC算法

3.PNG

1.2 追踪垃圾回收

对象被回收的条件：指针指向关系不可达的对象

标记根对象

 静态变量、全局变量、常量、线程栈等

 标记：找到可达对象

  求指针指向关系的传递闭包：从根对象出发，找到所有可达对象

4.PNG

 清理：所有不可达对象

  • 将存活对象复制到另外的内存空间(Copying GC)
  • 将死亡对象的内存标记为“可分配”(Mark-sweep GC)
  • 移动并整理存活对象(Mark-compact GC)

根据对象的生命周期，使用不同的标记和清理策略

Copying GC:将对象复制到另外的内存空间：

5.PNG

Mark-sweep GC：使用free list管理空闲内存

6.PNG

Compact GC：原地整理对象

7.PNG

1.3 分代GC（Generational GC)

分代假说（Generational hypothesis）：most objects die young

Intuition:很多对象在分配出来之后很快就不再使用了

每个对象都有年龄：经历过GC的次数

目的：针对年轻和老年的对象，制定不同的GC策略，降低整体内存管理的开销

不同年龄的对象处于heap的不同区域

年轻代(Young generation)

常规的对象分配

由于存活对象很少，可以采用copying collection

GC的吞吐率很高

老年代(Old generation) 对象趋于一直活着，反复复制的开销很大 可以采用mark-sweep collection

1.4 引用计数

·每个对象都有一个与之关联的引用数目 ·对象存活的条件：当且仅当引用计数>0

·优点：

内存管理的操作被平摊到程序执行过程中

内存管理不需要了解runtime的实现细节：C++智能指针(smart pointer)

缺点：

1、维护引用计数的开销较大：通过原子操作保证对引用计数的原子性和可见性

2、无法回收环形数据结构——weak reference

3、内存开销：每个对象都引入的额外内存空间存储引用数目

4、回收内存时依然可能引发暂停

01.总结

  • 自动内存管理的背景和意义
  • 概念和评价方法
  • 追踪垃圾回收
  • 引用计数
  • 分代GC

2. Go内存管理与优化

2.1 Go内存分配——分块

目标：为对象在heap上分配内存

提前将内存分块

调用系统调用mmap()向OS申请一大块内存，例如4MB

先将内存划分为大块，例如8KB,称作mspan

再将大块继续划分成特定大小的小块，用于对象分配

noscan mspan:分配不包含指针的对象——GC无需扫描 scan mspan:分配包含指针的对象——GC需要扫描

对象分配：根据对象的大小，选择最合适的块返回

2.1 Go内存分配——缓存

  • TCMalloc:thread caching

  • 每个p包含一个mcache用于快速分配，用于为绑定于p上的g分配对象

  • mcache管理一组mspan

  • 当mcache中的mspan分配完毕，向mcentral申请带有未分配块的span

  • 当mspan中没有分配的对象，mspan会被缓存在mcentral中，而不是立刻释放并归还给OS

8.PNG

2.2 Go内存管理优化

对象分配是非常高频的操作：每秒GB级别的内存

小对象占比较高

Go对象分配比较耗时

分配路径长：g->m->p->mcache->mspan->memory block->return pointer

pprof:对象分配的函数是最频繁调用的函数之一

2.3 我们的分配方案：Balanced GC

每个g都绑定一大块内存(1 KB)，称作goroutine allocation buffer(GAB)

GAB用于noscan类型的小对象分配：<128B

使用三个指针维护GAB：base，end，top

Bump pointer（指针碰撞）风格对象分配

无需与其他分配请求互斥

分配动作简单且高效

9.PNG

  • GAB对于Go内存管理来说是一个大对象：
  • 本质：将多个小内存对象的分配合并成一次大对象的分配
  • 问题：GAB的对象分配方式会导致内存被延迟释放  方案：移动GAB中存活的对象
  • 当GAB总大小超过一定阈值时，将GAB中存活的对象复制到另外被分配的GAB中
  • 原先的GAB可以释放，避免内存泄漏
  • 本质：用copying GC的算法管理小对象

10.PNG

Balanced GC-性能收益

高峰期CPU usage降低4.6%，核心接口时延下降4.5%-4.7%

11.PNG

02.总结

1、Go内存管理-分块

2、Go内存管理-缓存

3、Go对象分配的性能问题

分配路径过长

小对象居多

4、Balanced GC

指针碰撞风格的对象分配

实现了copying GC

性能收益

3. 编译器和静态分析

3.1 编译器的结构

重要的系统软件

识别符合语法和非法的程序 生成正确且高效的代码

分析部分（前段front end)

 语法分析，生成词素(lexeme)

 语法分析，生成语法树

 语义分析，收集类型信息，进行语义检查

 重点代码生成，生成IR

综合部分（后端back end)

 代码优化，机器无关代码，生成优化后的IR

 代码生成，生成目标代码

12.PNG

3.2 静态分析

静态分析：不执行程序代码，推导程序的行为，分析程序的性质

控制流(Control flow)：程序执行的流程

数据流（Data flow)：数据在控制流上的传递

通过分析数据流和控制流，我们可以知道更多的关于程序的性质（properties),根据这些性质优化代码

13.PNG

3.3 过程内分析与过程间分析

过程内分析(Intra-procedural analysis)

 仅在过程内部进行分析

过程间分析(Inter-procedural analysis)

 考虑过程调用时参数传递和返回值的数据流和控制流

为什么过程间分析是个问题？

需要通过数据流分析得知i的具体类型，才能知道i.foo()调用的是哪个foo()

根据i的具体类型，产生了新的控制流，A.foo()，分析继续

过程间分析需要同时分析数据流和控制流——联合求解，比较复杂

14.PNG

03.总结

编译器的结构与编译的流程

编译器后端优化

静态分析:

数据流分析和控制流分析

过程内分析和过程间分析

4. Go编译器优化

为什么做编译器优化：

 用户无感知，重新编译即可获得性能收益

 通用性优化

现状

 采用的优化少

 编译实践较短，没有进行较复杂的代码分析和优化

编译器优化的思路

 场景：面向后端长期执行的任务

 Tradeoff：用编译时间换取更加高效的机器码

Beast mode

 函数内联

 逃逸分析

 ...

4.1 函数内联(Inling)

内联：将被调用函数的函数体(callee)的副本替换到调用位置上(caller)，同时重写代码以反映参数的绑定

优点

消除函数调用开销，例如传递参数和保存寄存器等等

将过程间分析转化为过程内分析，帮助其他优化，例如逃逸分析

函数内敛有多大程度影响性能？使用micro-benchmark来验证一下

15.PNG

在老师的机器上，运行结果如下：

16.PNG

缺点：

函数体变大，Instruction cache(icache)不友好

编译器生成的Go镜像变大

内联策略：

调用和被调用函数的规模

...

4.2 Beast Mode

Go函数内联受到的限制较多

 语言特性，例如interface,defer 等，限制了函数内联

 内联策略很保守

Beast Mode:调整函数内联的策略，使得更多的函数被内联

 降低了函数被调用的开销

 增加了其他优化的机会：逃逸分析

开销：

 Go镜像增加了10%

 编译时间增加

4.2 逃逸分析

逃逸分析：分析代码中的指针动态作用域：指针在何处可以被访问

大致思路

 从对象分配处出发，沿着控制流，观察对象的数据流

 若发现指针p在当前作用域s：

  作为参数传递给其他函数

  传递给全局变量

  传递给其他的goroutine

  传递给已逃逸的指针指向的对象

 则指针p指向的对象逃逸出s，反之则没有逃逸出s

Beast mode：函数内敛拓展了函数边界，更多的对象不逃逸

优化:未逃逸的对象可以在栈上分配

 对象在栈上的分配和回收很快：移动sp

 减少在heap上的分配，降低GC负担

BeastMode——性能收益

高峰期CPU usage降低9%，时延降低10%

内存使用率降低3%

17.PNG

04.总结

1、Go编译器优化问题

2、Beast Mode

3、函数内联

4、逃逸分析

5、通过micro-benchmark快速验证性能优化

6、性能收益

课程总结

本节课程：高性能Go语言发行版优化和落地实践

性能优化：

 自动内存管理

 Go内存管理

 编译器和静态分析

 编译器的优化

实践：

 Balanced GC优化对象分配

 Beast Mode提升代码性能

分析问题的方法与解决问题的思路，不仅适用于Go语言，其他语言的优化也同样适用

avatar
文章
阅读
粉丝