高性能GO语言发行版优化与落地实践|青训营笔记

99 阅读3分钟

这是我参与「第三届青训营 -后端场」笔记创作活动的第1篇笔记。

性能优化:

what?:提升软件系统处理能力,减少不必要的消耗,充分发掘计算机算力

why?:从用户的角度,带来用户体验的提升一让刷抖音更丝滑,让双十一购物不再卡顿;从资源利用的角度,降低成本,提高效率―很小的优化乘以海量机器会是显著的性能提升和成本节约。

性能优化的层面可划分为:业务代码、SDK、基础库、语言运行时、操作系统。 业务层优化针对特定场景,具体问题,具体分析·容易获得较大性能收益。语言运行时优化解决更通用的性能问题。考虑更多场景。

要用数据驱动来确定优化点依靠数据而非猜测:首先优化最大瓶颈,自动化性能分析工具——pprof。

自动内存管理-相关概念:

  • Mutator:业务线程,分配新对象,修改对象指向关系
  • Collector: GC线程,找到存活对象,回收死亡对象的内存空间
  • Serial GC:只有一个collector
  • Parallel GC:支持多个collectors同时回收的GC算法
  • Concurrent GC: mutator(s)和collector(s)可以同时执行,Collectors必须感知对象指向关系的改变。

评价GC算法:

  • 安全性(Safety):不能回收存活的对象 基本要求
  • 吞吐率(Throughput):花在GC上的时间
  • 暂停时间(Pause time): stop the world (STW)业务是否感知
  • 内存开销(Space overhead):GC元数据开销 追踪垃圾回收(Tracing garbage collection)
  • 对象被回收的条件:指针指向关系不可达的对象
  • 标记根对象:静态变量、全局变量、常量、线程栈等 (以后可能会被用到)
  • 标记:找到可达对象(求指针指向关系的传递闭包)
  • 清理:所有不可达对象
    • 将存活对象复制到另外的内存空间(Copying GC)
    • 将死亡对象的内存标记为“可分配”(Mark-sweep GC)
    • 移动并整理存活对象(Mark-compact GC) 根据情况选择不同的策略。如根据对象的生命周期来选择。(分代GC:年轻代存活较少,采用coping GC可获得较高GC吞吐率;老年代存活可能性更高,反复复制的开销更大copying GC就不合适,则更应该采用Mark-sweep GC)

引用计数(Reference counting):

  • 每个对象都有一个与之关联的引用数目
  • 对象存活的条件:当且仅当引用数大于0 优点:
  • 内存管理的操作被平摊到程序执行过程中
  • 内存管理不需要了解runtime的实现细节如C++智能指针(smart pointer) 缺点:
  • 维护引用计数的开销较大:通过原子操作保证对引用计数操作的原子性和可见性。
  • 无法回收环形数据结构—— weak reference。
  • 内存开销:每个对象都引入的额外内存空间存储引用数目。
  • 回收内存时依然可能引发暂停。

GO内存分配-在heap上分配内存

提前将内存分块:

  • 调用系统调用mmap(向OS申请一大块内存,例如4 MB
  • 先将内存划分成大块,例如8 KB,称作mspan
  • 再将大块继续划分成特定大小的小块,用于对象分配
  • noscan mspan:分配不包含指针的对象——GC不需要扫描
  • scan mspan:分配包含指针的对象——GC需要扫描 然后根据对象的大小选择合适的块返回。

GO内存分配-缓存

image.png

GO内存管理-优化

对象分配是非常高频的操作:每秒分配GB级别的内存·小对象占比较高。 Go内存分配比较耗时分配路径长;pprof:对象分配的函数是最频繁调用的函数之一。