性能优化及自动内存管理|青训营笔记

97 阅读7分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 4 天

今天的主要内容是去使用性能优化工具pprof解决一些优化的案例

性能优化:提升软件系统的处理能力,减少不必要的消耗,充分发掘计算机算力

性能优化的作用:

    用户体验:带来用户体验的提升——刷抖音更加丝滑,双十一购物不再卡顿
    资源高效利用:降低成本。提高效率——很小的优化乘以海量机器会是显著的性能优化和效率提升

性能优化的层面

    业务层优化: 针对特定场景,具体问题,具体分析
    语言运行时优化:考虑更通用的性能问题,考虑更多场景
    数据驱动:自动化性能分析工具,依靠数据而非猜测,首先优化最大瓶颈
    

性能优化与软件质量

     软件质量至关重要
     在保证接口稳定的前提下改进具体实现
     测试用例: 覆盖尽可能多的场景,方便回归
     文档:做了什么,没做什么,能达到怎样的效果
     隔离:通过选项控制是否开启优化
     可观测:必要的日志输出
        

一、自动内存管理

1.1 自动内存管理
    动态内存:程序在运行时根据需求动态分配的内存
    自动内存管理(垃圾回收):由程序语言的运行时系统回收动态内存
    三个任务:为新对象分配空间、找到存活对象、回收死亡对象的内存空间
    
    Mutator:业务线程,分配新对象,修改对象指向关系
    collector:GC线程,找到存活对象,回收死亡对象的内存空间
    serial GC:只有一个collector
    Parallel GC:支持多个collectors同时回收的GC算法
    Concurrent GC:mutators 和 collectors 可以同时执行
    
    评价GC算法
        安全性:不能回收存活的对象(基本要求)
        吞吐率:1-(gc时间/程序执行总时间) 
        暂停时间:stop the world (业务是否感知)
        内存开销:GC 元数据
    
1.2 追踪垃圾回收
    对象被回收的条件:指针指向关系不可达
    标记根对象:静态变量,全局变量,常量,栈
    标记(找到可达对象) 求指针指向关系的传递闭包;从根对象出发,找到所有可达对象
    清理(所有不可达对象) 
        将存活对象复制到另外的内存分配空间
        将死亡对象的内存标记为“可分配”
        移动并整理存活对象
    根据对象的生命周期,使用不同的标记和清理策略
    
1.3 分代GC
    分代假说:most objects die young
    lntuition:很多对象在分配出来后很快就不再使用了
    每个对象都有年龄:经过的GC次数
    目的:针对年轻和老年的对象,制定不同的GC策略,降低整体内存管理的开销
    不同年龄的对象处于heap不同区域

1.4 引用计数
    每个对象都有一个与之关联的引用数目
    对象存活的条件:当且仅当引用数大于0
    优点
        内存管理的操作被平摊到程序执行过程中
        内存管理不需要了解runtime的实现细节
        
    缺点
        维护引用计数的开销较大:通过原子操作保证对引用计数操作的原子性和可见性
        无法回收环形数据结构——weak reference
        内存开销:每个对象都引入的额外内存空间储存引用数目
        回收内存依然可能引发暂停
      

二、Go性能优化

1. go内存分配
    1.1 分块
        目标:为对象在heap上分配内存
        提前将内存分块
            调用系统调用mmap()向OS申请一大块内存
            先将内存划分成大块
            再将大块继续划分成特定大小的小块,用于对象分配
            noscan mspan 分配不包含指针的对象——gc不需要扫描
            scan mspan 分配包含指针的对象——gc需要扫描
        对象分配:根据对象的大小,选择最合适的快返回
    1.2 缓存
        TCMalloc: thread caching
        每个p包含一个mcache用于快速分配,用于为绑定于p上的g分配对象
        mcache 管理一组mspan
        当msache 中的mspan分配完毕,向mcentral申请带有未分配块的mspan
        当mspan中没有分配的对象,mspan会被缓存在mcentral中,而不是立刻释放并归还给os

2. go内存管理优化
    对象分配是非常高频的操作,每秒分配GB级别的内存
    小对象占比较大
    go内存分配比较耗时:分配路径长,pprof

3. Balanced GC

    每个g都绑定一大块内存,称作goroutine allocation buffer(GAB)
    GAB用于noscan类型的小对象分配:<128 B
    使用三个指针维护GAB:base,end,top
    Bump pointer(指针碰撞) 风格对象分配:无须和其他分配请求互斥,分配动作简单高效
    

三、编译器和静态分析

3.1编译器的结构
    重要的系统软件:识别符合语法和非法的程序,生成正确且高效的代码
    分析部分:
        词法分析,生成词素
        语法分析,生成语法树
        语义分析,收集类型信息,进行语义检查
        中间代码生成,生成 intermediate representation
    综合部分:代码优化,机器无关优化,生成优化后的IR;代码生成,生成目标代码
    
3.2 静态分析
    静态分析:不执行程序代码,推导程序的行为分析程序的性质
    控制流:程序执行的流程
    数据流:数据在控制流上的传递
    通过分析控制流和数据流,我们可以知道更多关于程序的性质
    根据这些性质优化代码
3.3 过程内分析和过程间分析
    过程内分析:仅在过程内部进行分析
    过程间分析:考虑过程调用时参数传递和返回值的数据流和控制流
    
    

四、go语言编译优化

4.1 函数内联
    内联:将被调用函数的函数体的副本替换到调用位置上,同时重写戴拿以反映参数的绑定
    优点
        消除函数调用开销,例如传递参数,保存寄存器等
        将过程间分析转化为过程内分析,帮助其他优化,例如逃逸分析
    缺点
        函数体变大,instruction cache(icache)不友好
        编译生成的GO镜像变大
    内联策略:调用和被调函数的规模
    

4.2 Beast Mode
    Go函数内联受到的限制较多
        语言特性,例如interface,defer等,限制了函数内联
        内联策略非常保守
    Beast mode 调整函数内联的策略,使更多函数被内联
        降低函数调用的开销
            Go镜像增加~10%
            编译时间增加
        增加了其他优化的机会:逃逸分析
    逃逸分析:分析代码中指针的动态作用域:指针在何处可以被访问
    
        从对象分配处出发,沿控制流,观察对象的数据流
        若发现指针p在当前作用域s:
            作为参数传递给其他函数
            传递给全局变量
            传递给其他的goroutine
            传递给以逃逸的指针指向的对象
        则指针p指向的对象逃逸出s,反之则没有逃逸出s
    Beast mode:函数内联拓展了函数边界,更多对象不逃逸
    优化:未逃逸的对象可以在栈上分配
        对象在栈上分配和回收很快:移动sp
        减少在heap上的分配,降低GC负担