《高质量编程与性能调优实战》| 青训营笔记

zeke
182 阅读13分钟

这是我参与「第三届青训营 -后端场」笔记创作活动的的第３篇笔记

概述

本节课的主要讲述了如何编写更简洁清晰的代码、常用的Go语言程序优化手段，属性Go程序性能分析工具、了解工程中性能优化的原则和流程

参考课程：golang pprof 实战

参考代码：GitHub - wolfogre/go-pprof-practice: go pprof practice.

高质量编程

简介

  • 编写的代码能够达到正确可靠、简洁清晰、无性能隐患的目标就能称之为高质量代码
  • 实际应用场景千变万化，各种语言的特性和语法各不相同，但是高质量编程遵循的原则是相通的
  • 高质量的编程需要注意以下原则：简单性、可读性、生产力

常见编码规范

关于编码规范可以阅读Go 语言编码规范中文版

代码格式
  • 使用 gofmt 自动格式化代码，保证所有的 Go 代码与官方推荐格式保持一致

总结

  • 提升可读性，风格一致的代码更容易维护、需要更少的学习成本、团队合作成本，同时可以降低 Review 成本
注释

总结

  • 代码是最好的注释

  • 注释应该提供代码未表达出的上下文信息

命名规范

  • variable

    • 简洁胜于冗长
    • 缩略词全大写，但当其位于变量开头且不需要导出时，使用全小写，如用ServeHTTP而不是ServeHttp；用XMLHTTPRequest或xmlHTTPRequest
    • 变量距离其被使用的地方越远，则需要携带越多的上下文信息
    • 全局变量在其名字中需要更多的上下文信息，使得在不同地方可以轻易辨认出其含义

  • function

    • 函数名不携带包名的上下文信息，因为包名和函数名总是成对出现的
    • 函数名尽量简短
    • 当名为 foo 的包某个函数返回类型 Foo 时，可以省略类型信息而不导致歧义
    • 当名为 foo 的包某个函数返回类型 T 时（T 并不是 Foo），可以在函数名中加入类型信息

  • package

    • 只由小写字母组成。不包含大写字母和下划线等字符
    • 简短并包含一定的上下文信息。例如 schema、task 等
    • 不要与标准库同名。例如不要使用 sync 或者 strings

总结

  • 核心目标是降低阅读理解代码的成本
  • 关于命名的大多数规范核心在于考虑上下文，设计简洁清晰的名称
控制流程
  • 避免嵌套，保持正常流程清晰

image.png

  • 如果两个分支中都包含 return 语句，则可以去除冗余的 else

  • 尽量保持正常代码路径为最小缩进，优先处理错误情况/特殊情况，并尽早返回或继续循环来减少嵌套，增加可读性

image.png

image.png

总结

  • 线性原理，处理逻辑尽量走直线，避免复杂的嵌套分支
  • 正常流程代码沿着屏幕向下移动
  • 提高代码的可维护性和可读性
  • 故障问题大多出现在复杂的条件语句和循环语句
错误和异常处理
  • 简单错误处理：优先使用 errors.New 来创建匿名变量来直接表示该错误。有格式化需求时使用 fmt.Errorf
  • 错误的 Wrap 和 Unwrap：错误的 Wrap提供了一个error嵌套另一个error的能力，从而生成一个error的跟踪链。在 fmt.Errorf 中使用 %w 关键字来将一个错误 wrap 至其错误链中

Go1.13 在 errors 中新增了三个新 API 和一个新的 format 关键字，分别是 errors.Is、errors.As 、errors.Unwrap 以及 fmt.Errorf 的 %w。如果项目运行在小于 Go1.13 的版本中，导入 golang.org/x/xerrors 来使用。以下语法均已 Go1.13 作为标准。

  • 错误判定

    • 使用 errors.Is 可以判定错误链上的所有错误是否含有特定的错误。

    • 在错误链上获取特定种类的错误，使用 errors.As image.png

image.png

  • panic

    • 不建议在业务代码中使用 panic
    • 如果当前 goroutine 中所有 deferred 函数都不包含 recover 就会造成整个程序崩溃
    • 当程序启动阶段发生不可逆转的错误时，可以在 init 或 main 函数中使用 panic

  • recover

    • recover 只能在被 defer 的函数中使用，嵌套无法生效，只在当前 goroutine 生效
    • 如果需要更多的上下文信息，可以 recover 后在 log 中记录当前的调用栈。

image.png

总结

  • error 尽可能提供简明的上下文信息，方便定位问题
  • panic 用于真正异常的情况
  • recover 生效范围，在当前 goroutine 的被 defer 的函数中生效

性能调优建议

简介

  • 性能优化的前提时满足正确可靠、简洁清晰等质量因素
  • 性能优化是综合评估，有时候时间效率和空间效率可能对立
  • 针对Go语言特性，介绍Go相关的性能优化建议

Go优化建议

Benchmark使用
  • 性能表现需要实际数据衡量
  • Go提供了支持基准性能测试的benchmark工具
go test -bench=. -benchmem

image.png

执行结果：

image.png

slice 预分配内存

  • 在尽可能的情况下，在使用 make() 初始化切片时提供容量信息，特别是在追加切片时

  • 原理

    • ueokande.github.io/go-slice-tr…
    • 切片本质是一个数组片段的描述，包括了数组的指针，这个片段的长度和容量（不改变内存分配情况下的最大长度）
    • 切片操作并不复制切片指向的元素，创建一个新的切片会复用原来切片的底层数组，因此切片操作是非常高效的
    • 切片有三个属性，指针(ptr)、长度(len) 和容量(cap)。append 时有两种场景：当 append 之后的长度小于等于 cap，将会直接利用原底层数组剩余的空间；当 append 后的长度大于 cap 时，则会分配一块更大的区域来容纳新的底层数组
    • 因此，为了避免内存发生拷贝，如果能够知道最终的切片的大小，预先设置 cap 的值能够获得最好的性能

  • 另一个陷阱：大内存得不到释放

    • 在已有切片的基础上进行切片，不会创建新的底层数组。因为原来的底层数组没有发生变化，内存会一直占用，直到没有变量引用该数组
    • 因此很可能出现这么一种情况，原切片由大量的元素构成，但是我们在原切片的基础上切片，虽然只使用了很小一段，但底层数组在内存中仍然占据了大量空间，得不到释放
    • 推荐的做法，使用 copy 替代 re-slice
map 预分配内存
  • 不断向 map 中添加元素的操作会触发 map 的扩容
  • 根据实际需求提前预估好需要的空间
  • 提前分配好空间可以减少内存拷贝和 Rehash 的消耗
使用 strings.Builder

常见的字符串拼接方式

  • 直接通过+号拼接
  • strings.Builder
  • bytes.Buffer strings.Builder 最快，bytes.Buffer 较快，+ 最慢
  • 字符串在 Go 语言中是不可变类型，占用内存大小是固定的，当使用 + 拼接 2 个字符串时，生成一个新的字符串，那么就需要开辟一段新的空间，新空间的大小是原来两个字符串的大小之和
  • strings.Builder，bytes.Buffer 的内存是以倍数申请的，底层都是[]byte数组
  • strings.Builder 和 bytes.Buffer 底层都是 []byte 数组，bytes.Buffer 转化为字符串时重新申请了一块空间，存放生成的字符串变量，而 strings.Builder 直接将底层的 []byte 转换成了字符串类型返回

使用strings.Builder或bytes.Buffer进行转换时，如果可以知道预分配的大小，可以进一步提高性能

image.png

使用空结构体节省内存
  • 空结构体不占据内存空间，可作为占位符使用。一方面节省资源，另一方面空结构体本身具备很强的予以，即这里不需要任何值，仅作为占位符
  • 比如实现简单的 Set，Go 语言标准库没有提供 Set 的实现，通常使用 map 来代替。对于集合场景，只需要用到 map 的键而不需要值

image.png

image.png

使用 atomic 包
  • 锁的实现是通过操作系统来实现，属于系统调用
  • atomic 操作是通过硬件实现的，效率比锁高很多
  • sync.Mutex 应该用来保护一段逻辑，不仅仅用于保护一个变量
  • 对于非数值系列，可以使用 atomic.Value，atomic.Value 能承载一个 interface{}

image.png

总结
  • 避免常见的性能陷阱可以保证大部分程序的性能
  • 针对普通应用代码，不要一味地追求程序的性能，应当在满足正确可靠、简洁清晰等质量要求的前提下提高程序性能
  • 越高级的性能优化手段越容易出现问题
  • 在满足正确可靠、简洁清晰的之类要求的前提下提高程序性能

性能调优实战

简介

性能调优原则

  • 要依靠数据不是猜测
  • 要定位最大瓶颈而不是细枝末节
  • 不要过早优化
  • 不要过度优化

性能分析工具

性能调优的核心是性能瓶颈的分析，对于 Go 应用程序，最方便的就是 pprof 工具

pprof 功能说明
  • pprof 是用于可视化和分析性能分析数据的工具
  • 可以知道应用在什么地方耗费了多少 CPU、memory 等运行指标

image.png

pprof 实践

image.png

代码地址：github.com/wolfogre/go…

实际分析排查过程

排查 CPU 问题

1、命令行分析：go tool pprof "http://localhost:6060/debug/pprof/profile?seconds=10"

2、top 命令：topN，查看占用资源最多的函数

image.png

image.png

3、list 命令

image.png 4、web命令：熟悉 web 页面分析，调用关系图，火焰图

image.png

5、直接web可视化：go tool pprof -http=:8080 "http://localhost:6060/debug/pprof/cpu"

排查堆内存问题

image.png 排查协程问题

排查锁问题

排查阻塞问题

pprof 的采样过程和原理
  • CPU 采样 一共有三个相关角色:进程本身、操作系统和写缓冲。 启动采样时，进程向OS注册一个定时器，OS会每隔10ms向进程发送一个SIGPROF信号， 进程接收到信号后就会对当前的调用栈进行记录。 与此同时，进程会启动一个写缓冲的goroutine,它会每隔100ms从进程中读取已经记录的堆栈信息，并写入到输出流。 当采样停止时，进程向OS取消定时器，不再接收信号，写缓冲读取不到新的堆栈时，结束输出。

image.png

image.png

  • 堆内存采样 关于堆内存采样，提到内存指标的时候说的都是「堆内存」而不是「内存」，这是 因为pprof的内存采样是有局限性的。 内存采样在实现上依赖了内存分配器的记录，所以它只能记录在堆上分配，且会参与GC的内存及一些其他的内存分配， 例如调用结束就会回收的栈内存、一些更底层使用cgo调用分配的内存，是不会被内存采样记录的。它的采样率是一个指定大小，默认每分配512KB内存会采样一次，采样率是可以在运行开头调整的，设为1则为每次分配都会记录。

与CPU和goroutine都不同的是，内存的采样是一个持续的过程，它会记录从程序运行起的所有分配或释放的内存大小和对象数量，并在采样时遍历这些结果进行汇总。堆内存采样的四种指标，alloc的两项指标是 从程序运行开始的累计指标，而inuse的两项指标是通过累计分配减去累计释放得到的程序当前持有的指标。你也可以通过比较两次alloc的差值来得到某一段时间程序分配的内存大小和数量

image.png

  • 协程和系统线程采样

goroutine和系统线程的采样。这两个采样指标在概念上和实现上都比较相似，Goroutie采样会记录所有用户发起，也就是入口不是runtime开头的goroutine, 以及main函数所在goroutine的信息和创建这些goroutine的调用栈;

他们在实现上非常的相似，都是会在STW之后， 遍历所有goroutine/所有线程的列表(图中的m就是 GMP模型中的m,在golang中和线程一一对应）并输出堆栈，最后Start The World继续运行。这个采样是立刻触发的全量记录，你可以通过比较两个时间点的差值来得到某一时间段的指标。

image.png

  • 阻塞操作和锁竞争采样

最后是阻塞和锁竞争这两种采样，这两个指标在流程和原理上也非常相似，这两个采样记录的都是对应操作发生的调用栈、次数和耗时，不过这两个指标的采样率含义并不相同。

阻塞操作的采样率是一个「阈值」，消耗超过阈值时间的阻塞操作才会被记录，1为每次操作都会记录。

锁竞争的采样率是一个「比例」，运行时会通过随机数来只记录固定比例的锁操作，1为每次操作都会记录。

它们在实现上也是基本相同的。都是一个「主动上报」的过程。 在阻塞操作或锁操作发生时，会计算出消耗的时间，连同调用栈一起主动上报给采样器，采样器会根据采样率可能会丢弃-些记录。 在采样时，采样器会遍历已经记录的信息，统计出具体操作的次数、调用栈和总耗时。和堆内存一样， 你可以对比两个时间点的差值计算出段时间内的操作指标。

image.png

其他代码优化建议

  • 非并发逻辑转并发
  • slice、map提前设置容量，避免扩容消耗
  • map结构优化，避免gc压力（适当场景下map的kv尽量不使用指针类型）
  • sync.Pool对象池化，保存和复用临时对象，减少内存分配，降低ＧＣ压力，适合临时分配对象较多的场景
  • goroutine的限制，虽然G很廉价但不代表不需要资源
  • 逃逸分析，尽量在栈上分配变量，减少gc压力
  • 减少锁的粒度，甚至去除锁
  • http client的使用优化，复用http client
  • 调大GOGC，如果内存足够，可以适当调大GOGC，降低GC频率
avatar
文章
阅读
粉丝