Go语言内存管理详解|zo的笔记|青训营笔记

这是我参与「第五届青训营 」笔记创作活动的第6天。

一、本节主要内容

• 课程回顾

上节课：高质量编程与性能调优实战高质量编程
    编码规范：写出高质量、可维护的代码
    性能优化建议
性能优化
    分析工具——pprof：采样原理、如何定位性能问题等等业务优化
    基础库优化
    Go语言优化

• 高性能Go语言发行版优化与落地实践
• 优化
  内存管理优化 | 编译器优化
• 背景
  自动内存管理和Go内存管理机制
  编译器优化的基本问题和思路
• 实践：字节跳动遇到的性能问题以及优化方案

二、本节详细内容

总论

性能优化是什么？
提升软件系统处理能力，减少不必要的消耗，充分发掘计算机算力
为什么要做性能优化？

用户体验：带来用户体验的提升让刷抖音更丝滑骨，让双十购物不再卡顿  
资源高效利用降低成本，提高效率很小的优化乘以海量机器会是显著的性能提升和成本节约

如何做性能优化-性能优化的层面

一般我们可从这两个角度着手优化

• 业务层优化
  针对特定场景，具体问题，具体分析。容易获得较大性能收益。

• 语言运行时优化
  解决更通用的性能问题；考虑更多场景；Tradeoffs做权衡

• 重要的思考方式- 数据驱动
  自动化性能分析工具pprof
  依靠数据而非猜测
  首先优化最大瓶颈

性能优化与软件质量

优化go SDK代码产品为主    

软件质量至关重要
在保证接口稳定的前提下改进具体实现
测试用例：覆盖尽可能多的场景，方便回归
文档：做了什么，没做什么，能达到怎样的效果
隔离：通过选项控制是否开启优化
可观测：必要的日志输出

小结

性能优化的基本问题
- 为什么要性能优化 - 性能优化带来了什么 性能优化的两个层面
- 业务层 - 语言运行 性能优化的可维护性 -软件质量

语言运行时的优化

• 内存方面

自动内存管理
    自动内存管理的基本概念、基本算法
Go内存管理及优化
    Go内存管理的性能问题及优化思路

• 编译器方面

编译器和静态分析
    编译原理和机器无关优化
Go编译器优化
    编译器优化思路

自动内存管理

概念 | Tracing garbage collection | Generational GC | Reference counting

#####自动内存管理概念

• 动态内存 程序在运行时根据需求动态分配的内存： malloc()
• 自动内存管理（垃圾回收））：由程序语言的运行时系统管理动态内存
  避免手动内存管理，专注于实现业务逻辑
  保证内存使用的正确性和安全性：double-freeproblem，use-after-freeproblem

CVE漏洞披露平台->搜索double free、use up free关键词 478 4700+

• GC技术的三个任务
  为新对象分配空间
  找到存活对象
  回收死亡对象的内存空间

• 相关概念

Mutator：业务线程，分配新对象，修改对象指向关系
Collector:GC线程，找到存活对象，回收死亡对象的内存空间
GC的算法：
SerialGC:只有一个collector
ParallelGC：支持多个collectors同时回收的GC算法
ConcurrentGC：mutator(s）和collector(s）可以同时执行
- collectors必须感知对象指向关系的改变

ConcurrentGC：标记为存活不会错误回收 三色标记？写屏障？

• 评价GC算法
• 追踪垃圾回收（tracing garbage collection）
• 引用计数（Reference counting）
  推荐书籍

追踪垃圾回收

• 对象被回收的条件：指针指向关系不可达的对象
• 标记根对象
  · 静态变量、全局变量、常量、线程栈等（标记存活）
• 标记：找到可达对象
  · 求指针指向关系的传递闭包：从根对象出发，找到所有可达对象
• 清理：所有不可达对象 ·将存活对象复制到另外的内存空间(CopyingGC)
  ·将死亡对象的内存标记为“可分配"(Mark-sweepGC)
  ·移动并整理存活对象(Mark-compact GC)

• 根据对象的生命周期，使用不同的标记和清理策略 CopyingGC:将对象复制到另外的内存空间 Mark-sweep GC:使用 free list管理空内存 CompactGC:原地整理对象（根据一定的策略，选定时间整理）

分代GC（Generation GC）

· 分代假说(Generational hypothesis): most objects die young
· Intuition:很多对象在分配出来后很快就不再使用了
· 每个对象都有年龄：经历过GC的次数
· 目的：对年轻和老年的对象，制定不同的GC策略，降低整体内存管理的开销
· 不同年龄的对象处于heap的不同区域

• 年轻代 ·常规的对象分配
  ·由于存活对象很少，可以采用copying collection
  ·GC吞吐率很高
• 老年代 ·对象趋向于一直活着，反复复制开销较大
  ·可以采用mark-sweep collection

第二种内存管理方式-引用计数

• 每个对象都有一个与之关联的引用数目
  对象存活的条件：当且仅当引用数大于0
  
• 引用计数方法的优点
  内存管理的操作被平摊到程序执行过程中
  内存管理不需要了解 runtime的实现细节： C++智能指针(smart pointer)
  
• 缺点 1.维护引用计数的开销较大：通过原子操作保证对引用计数操作的原子性和可见性（可能有多个线程操作引用计数）
  2.无法回收环形数据结构—weak reference 3.内存开销：每个对象都引入的额外内存空间存储引用数目
  4.回收内存时依然可能引发暂停（回收较大数据结构时）

总结

• 自动内存管理的背景和意义
• 概念和评价方法追踪垃圾回收
• 引用计数
• 分代GC
• 学术界和工业界在一直在致力于解决自动内存管理技术的不足之处
  推荐新技术论文 《PLDI'22 Low-Latency, High-Throughput Garbage Collection》

Go内存管理与优化

Go内存分配 | Go内存管理优化

Go内存分配

Go内存分配-分块

• 目标：为对象在heap上分配内存
• 提前将内存分块
  调用系统调用mmap()向OS申请一大块内存，例如4MB
  先将内存划分成大块，例如8KB,称作mspan
  再将大块继续划分成特定大小的小块，用于对象分配
  noscan mspan:分配不包含指针的对象—GC不需要扫描
  scan mspan:分配包含指针的对象GC需要扫描
• 对象分配：根据对象的大小，选择最合适的大小返回

Go内存分配-缓存

TC Malloc: thread caching
每个p包含一个mcache用于快速分配，用于为绑定于p上的g分配对象
mcache管理一组mspan
当mcache中的 mspan分配完毕，向mcentral申请带有未分配块的mspan
当mspan中没有分配的对象，mspan会被缓存在mcentral中，而不是立刻释放并归还给 OS

go内存管理优化

• 对象分配是非常高频的操作：每秒分配GB级别的内存
• 小对象占比较高
  
• Go内存分配比较耗时 ·分配路径长： g -> m -> p -> mcache -> mspan -> memory block -> return pointer
  ·pprof检查结果:对象分配的函数是最频繁调用的函数之一
• *我们要针对小对象长分配路径优化

字节跳动的优化方案： Balance GC

每个g都绑定一大块内存（1KB），称作goroutine allocation buffer(GAB)
GAB用于noscan类型的小对象分配：<128B
使用三个指针维护GAB:base,end,top
Bump pointer(针碰)风格对象无须和其他分配请求互斥分配动作简单高效

• 相关技术细节 GAB对于Go内存管理来说是一个大对象
  本质：将多个小对象的分配合并成一次大对象的分配
  问题：GAB的对象分配方式会导致内存被延迟释放 当GAB总大小超过一定阈值时，将GAB中存活的对象复制到另外分配的GAB中
  原先的GAB可以释放，避免内存泄漏
  本质：用copyingGC的算法管理小对象
• Balance GC 性能收益

小结

• Go内存管理一分块
• Go内存管理一缓存
• Go对象分配的性能问题分配路径过长小对象居多
• Balanced GC
  ·指针碰撞风格的对象分配
  ·实现了copyingGC 性能收益

编译器和静态分析

基本介绍 | 数据流和控制流 | 过程内和过程间分析

编译器的基本结构

编译器是重要的系统软件：
- 识别符合语法和非法的程序
- 生成正确且高效的代码
结构分为前段和后端部分

• 分析部分（前端 front end)
  ·词法分析，生成词素(lexeme)
  ·语法分析，生成语法树
  ·语义分析，收集类型信息，进行语义检查
  ·中间代码生成，生成 intermediate representation(IR)
• 综合部分（后端back end)
  ·代码优化，机器无关优化，生成优化后的IR
  ·代码生成，生成目标代码

静态分析

静态分析：不执行程序代码，推导程序的行为，分析程序的性质。主要有控制流和数据流分析

控制流(Control flow):程序执行的流程
数据流(Data flow):数据在控制流上的传递
通过分析控制流和数据流，我们可以知道更多关于程序的性质(properties)
根据这些性质优化代码

过程内分析和过程间分析

过程内分析(Intra-procedural analysis)

• 仅在函数内部进行分析
  过程间分析(Inter-procedural analysis)
• 考虑函数调用时参数传递和返回值的数据流和控制流

为什么过程间分析是个问题？ ·需要通过数据流分析得知i的具体类型，才能知道i.foo()调用的是哪个foo()
·根据i的具体类型，产生了新的控制流，i.foo(),分析继续 ·过程间分析需要同时分析控制流和数据流联合求解，比较复杂

小结

编译器的结构与编译的流程
编译器后端优化
静态分析
· 数据流分析和控制流分析
· 过程内分析和过程间分析

Go编译器优化

函数内联 | 逃逸分析

简介

为什么做编译器优化
·用户无感知，重新编译即可获得性能收益
·通用性优化
现状
·采用的优化少
·编译时间较短，没有进行较复杂的代码分析和优化编译优化的思路
·场景：面向后端长期执行任务 ·Tradeoff:用编译时间换取更高效的机器码
Beast mode（字节产品，集成在SDK中）：
函数内联
逃逸分析
默认栈大小调整
边界检查
消除循环展开

函数内联（inlining）

内联：将被调用函数的函数体(callee)的副本替换到调用位置(caller)上，同时重写代码以反映参数的绑定。
优点
· 消除函数调用开销，例如传递参数、保存寄存器等
· 将过程间分析转化为过程内分析，帮助其他优化，例如逃逸分析

• 函数内联能多大程度影响性能？—使用micro-benchmark验证一下~

缺点：
函数体变大，instruction cache(icache)不友好
编译生成的Go镜像变大
函数内联在大多数情况下是正向优化。
内联策略： 调用和被调函数的规模
......

Beast Mode

Go函数内联受到的限制较多
·语言特性，例如interface, defer等，限制了函数内联
·内联策略非常保守
Beast mode: 调整函数内联的策略，使更多函数被内联
·降低函数调用的开销
·增加了其他优化的机会：逃逸分析
开销：
·Go镜像增加~10%
·编译时间增加

逃逸分析

逃逸分析：分析代码中指针的动态作用域：指针在何处可以被访问
大致思路
·从对象分配处出发，沿着控制流，观察对象的数据流
·若发现指针p在当前作用域s:
·作为参数传递给其他函数
·传递给全局变量
·传递给其他的goroutine
·传递给已逃逸的指针指向的对象
·则指针p指向的对象逃逸出s,反之则没有逃逸出

Beast mode：函数内联拓展了函数边界，更多对象不逃逸
优化：未逃逸的对象可以在栈上分配
·对象在栈上分配和回收很快：移动sp
·减少在heap上的分配，降低GC负担

小结

Go编译器优化的问题
Beast mode
函数内联
逃逸分析
通过micro-benchmark快速验证性能优化
性能收益

回顾总结

本节课程：高性能Go语言发行版优化与落地实践
性能优化
·自动内存管理
·Go内存管理 ·编译器与静态分析
·编译器优化
实践 ·Balanced GC优化对象分配 ·Beast mode提升代码性能 分析问题的方法与解决问题的思路，不仅适用于Go语言，其他语言的优化也同样适用