零基础学习Go的Day15| 青训营笔记

111 阅读6分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 15 天

1.复习已学知识

  • 复习依赖管理
  • 复习单元测试
  • 复习如何高质量编程知识
  • 复习性能优化的自动内存管理

2.观看性能优化指南

  • Go内存管理及优化

Go内存分配——分块

目标:提前为对象在heap上分配内存

  • 调用系统调用mmap()向OS申请一大块内存,例如4MB
  • 先将内存划分成大块,例如8KB,称作mspan
  • 再继续将大块划分成特定大小的小块,用于按需对象的分配
  • noscan mspan:分配不包含指针的对象——GC不需要扫描
  • scan mspan:分配包含指针的对象——GC需要扫描
  • 对象分配:根据对象的大小,选择最合适的块

Go内存分配——缓存

缓存过程

  • TCMalloc:thread caching
  • 每个p包含一个mcache用于快速分配,用于为绑定于p上的g分配对象
  • mcache管理一组mspan
  • 当mcache中的mspan分配完毕,向mcentral申请带有未分配块的mspan
  • 当mspan中没有分配的对象,mspan会被缓存在mcentral中,而不是立刻释放并归还给OS

一图以释之:

Go内存管理优化

一些须知

  • 对象分配是非常高频的操作:每秒分配GB级别的内存

  • 空间较小的对象占比比较高

  • Go内存分配比较耗时

    • 分配路径长:g -> m -> p -> mcache -> mspan -> memory block -> return pointer
    • pprof:对象分配的函数是最频繁调用的函数之一

字节跳动的优化方案Balanced GC

  • 每个g都绑定一大块内存(1KB),称作goroutine allocation buffer (GAB)

  • GAB用于noscan类型的小对象分配:< 128B

  • 使用三个指针维护GAB:base基地址, end结束地址, top当前地址

  • Bump pointer(指针碰撞)风格对象分配:

    • 无需和其他分配请求互斥

    • 分配动作简单高效(移动top指针)

      if top + size <= end {
      	addr := top
      	top += size
      	return addr
      }
      

Balanced GC的一些细节

  • GAB对于Go内存来说是一个大对象

  • 本质:将多个小对象的分配合并成一次大对象的分配

  • 问题:GAB的对象分配方式会导致内存被延迟释放

  • 方案:移动GAB中的存活对象

    • 当GAB总大小超过一定阈值时,将GAB中存活的对象复制到另外分配的GAB中
    • 原先的GAB可以释放,避免内存泄漏
    • 本质:用copying GC的算法管理小对象(根据对象的生命周期,使用不同的标记和清理策略)

3. 编译器和静态分析

编译器的结构

  • 重要的系统软件

    • 识别符合语法和非法的程序
    • 生成正确且高效的代码
  • 分析部分:(前端 front end)

    • 词法分析:生成词素(lexeme)
    • 语法分析:生成语法树
    • 语义分析:收集类型信息,进行语义检查
    • 中间代码生成:生成intermediate representation(IR)
  • 综合部分:(后端 back end)

    • 代码优化:机器无关代码,生成优化后的IR
    • 代码生成:生成目标代码

静态分析

控制流和数据流

静态分析 :不执行程序代码,推导程序的行为,分析程序的性质。

常见的两种分析

  • 控制流:程序执行的流程
  • 数据流:数据在控制流上的传递

控制流图示:

通过分析控制流和数据流,我们可以知道更多关于程序的性质(properties) ,根据这些性质优化代码。

过程内分析和过程间分析

过程内分析:仅在函数内部进行分析

过程间分析:考虑过程调用时参数传递和返回值的数据流和控制流

过程间分析的难点:

  • 需要通过数据流分析得知i的具体类型,才能知道i.foo()调用的是哪个foo()
  • 根据i的具体类型,产生了新的控制流A.foo(),分析继续
  • 过程间分析需要同时分析控制流和数据流——联合求解,比较复杂

4. Go编译器优化

编译优化的思路:

  • 场景:面向后端长期执行任务
  • Tradeoff:用编译时间换取更高效的机器码

Beast mode:

  • 函数内联
  • 逃逸分析
  • 默认栈大小调整
  • 边界检查消除
  • 循环展开,等

函数内联 inlining

内联的定义:将被调用函数的函数体(callee)的副本替换到调用位置(caller)上,同时重写代码以反映参数的绑定

优点

  • 清除函数调用开销,例如传递参数、保存寄存器等
  • 将过程间分析转化为过程内分析,帮助其他优化,例如逃逸分析

逃逸分析解释:分析代码中指针的动态作用域:指针在何处可以被访问

// 一个使用micro-benchmark的性能测试
func BenchmarkInline(b *testing.B) {
    x := genInteger()
    y := genInteger()
    for i := 0; i < n.N; i++ {
        addInline(x, y)
    }
}
​
func addInline(a, b int) int {
    return a + b
}
​
func BenchmarkInlineDisabled(b *testing.B) {
    x := genInteger()
    y := genInteger()
    for i := 0; i < n.N; i++ {
        addNoInline(x, y)
    }
}
​
// go:noinline
func addNoInline(a, b int) int {
    return a + b
}
// 大约可以提升4.58倍的性能

缺点

  • 函数体变大,instruction cache不友好(大概就是会占用很多的意思)
  • 编译生成的Go镜像变大(时间换空间的感觉)

函数内联在大多数情况下是正向优化

Beast Mode

  • Go函数内联受到的限制较多

    • 语言特性,例如interface,defer等,限制了函数内联
    • 内联策略非常保守
  • Beast mode:调整函数内联的策略,使更多函数被内联

    • 降低函数调用的开销
    • 增加了其他优化机会:逃逸分析
  • 开销:

    • Go镜像增加约10%
    • 编译时间增加

相当于是一个折中的方法。

该种方法下的逃逸分析大致思路:


三、相关术语解读

自动内存管理

  • Auto memory management: 自动内存管理

  • Grabage collction: 垃圾回收

  • Mutator: 业务线程

  • Collector: GC 线程

  • Concurrent GC: 并发 GC

  • Parallel GC: 并行 GC

  • Tracing garbage collection: 追踪垃圾回收

    • Copying GC: 复制对象 GC
    • Mark-sweep GC: 标记-清理 GC
    • Mark-compact GC: 标记-压缩 GC
  • Reference counting: 引用计数

  • Generational GC: 分代 GC

    • Young generation: 年轻代
    • Old generation: 老年代

Go 内存管理及优化

  • TCMalloc
  • mmap() 系统调用
  • scan object 和 noscan object
  • mspan, mcache, mentral
  • Bump-pointer object allocation: 指针碰撞风格的对象分配

编译器和静态分析

  • 词法分析
  • 语法分析
  • 语义分析
  • Intermediate representation (IR) 中间表示
  • 代码优化
  • 代码生成
  • Control flow: 控制流
  • Data flow: 数据流
  • Intra-procedural analysis 过程内分析
  • Inter-procedural analysis: 过程间分析

Go 编译器优化

  • Function inlining: 函数内联
  • Escape analysis: 逃逸分析