Go语言内存管理以及性能优化 | 青训营笔记

小江同学66666
53 阅读9分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 4 天

零.前言

 本篇文章将主要介绍自动内存管理,Go语言的内存管理以及优化,编译器和静态分析,Go编译器优化等相关方面内容,虽然本文以Go编译器为基础,但是基于底层的原理大多数语言的虚拟机的实现应该都有对应的支持,希望我这篇文章能给大家带来一些关于内存管理以及编译器优化的思考。

一.重点内容

  • 自动内存管理
  • Go语言的内存管理以及优化
  • 编译器和静态分析
  • Go编译器优化

二.详细知识点介绍

自动内存管理

  • 自动内存管理简介 自动内存管理分为动态内存和自动内存管理
    • 动态内存:程序员手动调用malloc()方法给对象或者数组分配内存空间,需要程序员手动释放。
    • 自动内存管理:由编译器的指定的垃圾回收机制和回收策略在程序运行时系统自动管理和分配内存,优点在于避免程序员手动进行内存管理,让程序员专注于业务逻辑和保证内存使用的正确性和安全性
    • 自动内存管理的三个主要任务
      • 为新对象分配内存空间
      • 找到并标记存活对象
      • 回收死亡对象的内存空间
  • 追踪垃圾回收
    • 对象被回收的条件:指针指向不可达的对象
    • 标记根对象
      • 静态变量,全局变量,常量,线程栈等
    • 标记可达对象
      • 求指针指向关系的传递闭包:从根对象出发,找到所有可达对象
    • 清理所有不可达对象
      • 将一片大内存中的少数存活对象复制到另外的另一块使用率较高的大内存中(Copying GC)

image.png - 将死亡对象的内存标记为“可分配“(Mark-sweep GC:使用free list管理空闲内存) image.png - 移动并整理存活对象(Mark-compact GC:原地整理内存)

image.png

- 根据对象的生命周期(新生代,老年代,作用域,引用计数等要素)，使用不同的标记和清理策略
  • 分代GC
    • 分代假说:许多年轻代(或者称新生代)很快消亡(most objects die young)
    • Intuition:很多对象在分配出来后很快就不再使用
    • 每个对象都有年龄:经历过GC的次数
    • 目的:针对年轻和老年的对象，制定不同的GC策略，降低整体内存管理的开销不同年龄的对象处于heap的不同区域
    • 年轻代(Young generation)
      • 常规的对象分配
      • 由于存活对象很少，可以采用copying collection
      • GC吞吐率很高
      • 解释:因为大多数变量都是局部变量,当程序执行完该局部变量的代码且后续不再有对该变量的引用时,这些无引用的变量达到一定阈值时就会触发GC进行回收,但是由于Go语言中的内存是分块的,大对象的内存可能仅有一个小对象的引用指向,这就会造成内存的泄漏,所以会频繁采用copying GC将该小对象copy到一块使用率较高的大对象的空闲内存区域中
    • 老年代(Old generation)
      • 对象趋向于一直活着，反复复制开销较大
      • 可以采用mark-sweep collection
      • 解释:老年代对象是指经过很多次GC但仍然没有被回收的对象,此时如若再采用Copying GC进行频繁的拷贝并不能达到很好的效果,因为老年代大概率还是不会被回收,频繁拷贝反而浪费了系统资源,所以考虑使用一个老年代list用来老年代的GC管理,当满足一定条件后(如内存不足,手动调用full GC指令时)进行老年代的GC,其他时候只需关注年轻代的GC即可。
  • 引用计数
    • 每个对象都有一个与之关联的引用数目
    • 对象存活的条件:当且仅当引用数大于0
    • 采用引用计数进行GC的优点:
      • 内存管理的操作被平摊到程序执行过程中,减少了stop the world次数,减少GC的次数和运行时间,增加实际业务的运行效率。
      • 内存管理不需要了解 runtime的实现细节:C++智能指针(smart pointer)
    • 缺点:
      • 维护引用计数的开销较大:通过原子操作保证对引用计数操作的原子性和可见性,保证并发编程时的线程安全问题。
      • 无法回收环形数据结构 —— weak reference
      • 内存开销:每个对象都引入的系统资源,因为需要另外维护一个原子变量以及原子操作
      • 回收内存时依然可能引发暂停,当回收一个具有指向庞大对象的指针引用对象为0时,需要的GC时间仍然不容小觑,会影响用户体验

Go语言内存管理以及优化

  • Go内存管理 - 分块以及缓存

    内存分块的目标是:为对象在heap上分配内存。
     提前将内存分块:调用系统调用mmap() 向OS申请一大块内存，例如4MB先将内存划分成大块，例如8KB，称作mspan,再将大块继续划分成特定大小的小块，用于对象分配。
     noscan:mspan:分配不包含指针的对象(GC不需要扫描)
     scan mspan:分配包含指针的对象(GC需要扫描)
    分配过程:
     每个p包含一个mcache 用于快速分配，用于为绑定于p上的g分配对象,mcache营理一组mspan,当mcache 中的mspan分配完毕,向mcentral申请带有未分配块的m,当mspan中没有分配的对象，mspan会被缓存在,mcentral中,而不是立刻释放并归还给OS。
     这种实际上是缓存的思想:因为程序在运行过程中可能会频繁地创建和销毁对象,频繁地向OS申请和归还内存空间实际上要进行频繁地内核态和用户态之间的切换,非常影响程序运行时的效率,所以go语言的编写者在此运用了缓存的思想,将一部分大内存先预留起来,等待用户申请内存空间,当程序最终运行完毕后再将go语言所申请的所有内存空间归还给操作系统。

    go语言内存分配示意图:

image.png

  • Go 对象分配的性能问题

    • 对象分配是非常高频的操作:每秒分配GB级别的内存
    • 分配路径过长 g ->m ->p -> mcache -> mspan -> memory block -> return pointer
    • 小对象居多  虽然Go语言的利用缓存减少了与OS之间的频繁申请/归还内存的损耗,但是对象分配高频且以小对象居多,再加之对象分配的路径过长,我们可以基于以上信息针对小对象再加上一层缓存,减少对象分配的路径长度。

  • Balanced GC

    • 具体方案:
      • 每个g都绑定一大块内存（1 KB),称作 goroutine allocation buffer (GAB)
      • GAB用于noscan类型的小对象分配:<128B
      • 使用三个指针维护GAB: base, end, top
      • Bump pointer(指针碰撞)风格对象分配
        • 无须和其他分配请求互斥
        • 分配动作简单高效

     GAB对GO内存管理来说是一个大对象,其本质是将对各小对象的分配合并成一个大对象的分配,减少了申请分配的次数,仅需大对象仅需要维护三个指针即可完成内存空间的分配,但是GAB的对象分配方式可能那个会导致少数小对象持有引用而无法释放GAB大对象而产生的内存泄漏问题。

    • 利用copying GC解决上述问题
      • 方案:移动GAB中存活的对象
        • 当GAB总大小超过一定阈值时，将GAB中存活的对象复制到另外分配的GAB中
        • 原先的GAB可以释放，避免内存泄漏

image.png

编译器和静态分析

  • 编译器的结构与编译的流程编译器

image.png

  • 静态分析:不执行程序代码，推导程序的行为，分析程序的性质

    • 控制流(Control flow):程序执行的流程
    • 数据流(Data flow)数据在控制流上的传递
    • 通过分析控制流和数据流，我们可以知道更多关于程序的性质
    • 根据以上信息优化代码

  • 过程内分析

    • 仅在函数内部进行分析

  • 过程间分析

    • 需要时参数传递和返回值的数据流和控制流

     实际代码编译过程中,我们都希望得到尽可能少的过程间分析,因为过程间的分析将会引入新的控制流和数据流,对于后端编译优化较为复杂,看以下例子:

image.png

 我们需要通过数据流分析得知i的具体类型，才能知道i.foo()调用的是哪个foo(),根据i的具体类型,产生了新的控制流,A.foo(),分析继续过程间分析需要同时分析控制流和数据流——联合求解,比较复杂。

Go编译器优化

  • Go编译器优化的问题
    • 用户无感知，重新编译即可获得性能收益
    • 通用性优化
  • Beast mode
    • 函数内联
    • 逃逸分析
  • 函数内联:将被调用函数的函数体(caller)的副本替换到调用位置(caller)上，同时重写代码以反映参数的绑定
    • 优点
      • 消除函数调用开销，例如传递参数、保存寄存器等
      • 将过程间分析转化为过程内分析
    • 缺点
      • 函数体变大,instruction cache (icache)不友好
      • 编译生成的Go镜像变大
    • 函数内联在大多数情况下是正向优化
    • 内联策略
      • 调用和被调函数的规模
  • 逃逸分析:分析代码中指针的动态作用域:指针在何处可以被访问
    • 大致思路
      • 从对象分配处出发，沿着控制流，观察对象的数据流
      • 若发现指针p在当前作用域s:
      • 作为参数传递给其他函数
        • 传递给全局变量
        • 传递给其他的goroutino
        • 传递给已逃逸的指针指向的对象
      • 则指针p指向的对象逃逸出s，反之则没有逃逸出s
      • Beast mode:函数内联拓展了函数边界，更多对象不逃逸
      • 优化:未逃逸的对象可以在栈上分配
        • 对象在栈上分配和回收很快:移动sp
        • 减少在heap 上的分配,降低GC负担(减少stop the world的次数,提高程序运行效率)

三.参考引用

  • 字节内部课 : Go高性能语言发行版与落地实现

avatar
文章
阅读
粉丝