Go 高质量编程与性能调优笔记 | 青训营

77 阅读10分钟

Go 高质量编程

高质量编程强调的是代码的规范性、可读性和可维护性,旨在创建出易于理解、易于扩展和稳定可靠的软件。

而性能优化则着眼于代码在运行时的性能表现,通过优化算法、数据结构和代码结构,以及合理利用底层硬件资源,从而提升系统的响应速度和资源利用效率。

在当今的软件开发环境中,代码的质量不仅仅体现在功能的实现,更涉及到代码的整体结构、可维护性以及团队协作的效率。高质量编程意味着遵循一系列明确的规范,从命名、注释到代码风格,使得代码逻辑清晰、易于理解,并且方便多人协作开发和维护。

性能调优可以让软件在处理大规模数据、高并发请求时能够更加高效地运行。涵盖算法优化、数据结构优化、代码执行路径优化等方面,旨在降低资源消耗,提高系统的吞吐量和响应速度。

  • 简单性
    • 消除“多余的复杂性”,以简单清晰的逻辑编写代码
    • 不理解的代码无法修复改进
  • 可读性
    • 代码是给人看的,而不是机器
    • 编写可维护代码的第一步是确保代码可读
  • 生产力
    • 团队整体工作效率非常重要

编码规范

代码格式

  • 使用 Go 官方提供的 gofmt 自动格式化代码
  • goimports 等于 gofmt 加上依赖包管理,自动增删依赖的包引用,将依赖包按字母序排序并分类

注释

  • 公共符号始终要注释
    • 包中声明的每个公共的符号:变量、常量、函数以及结构都需要添加注释
    • 任何既不明显也不简短的公共功能必须注释
    • 无论长度或复杂度如何,对库中的任何函数都必须进行注释
    • 不需要注释实现接口的方法
  • 注释应该解释代码的作用
  • 注释应该解释代码如何做的
  • 注释应该解释代码实现的原因
  • 注释应该解释代码什么情况会出错

命名规范

  • 变量
    • 简洁胜于冗长
    • 缩略词全大写,但当其位于变量开头且不需要导出时,使用全小写
    • 变量距离其被使用的地方越远,则需要携带越多的上下文信息(特别是全局变量)
  • 函数名
    • 函数名尽量简短
    • 函数名不携带包名的上下文信息,因为包名和函数名总是成对出现
    • 当名为 foo 的包某个函数返回类型 Foo 时,可以省略类型信息而不导致歧义;否则,可以在函数名中加入类型信息
  • package
    • 只由小写字母组成
    • 简短并包含一定的上下文信息
    • 不要与标准库同名
    • 尽量满足:
      • 不使用常用变量名作为包名
      • 使用单数而不是复数
      • 谨慎地使用缩写
  • 控制流
    • 避免嵌套,保持正常流程清晰
      • 注意去除冗余的 else
    • 尽量保持正常代码路径为最小缩进
      • 优先处理错误/特殊情况,尽早返回或继续循环来减少嵌套
  • 错误
    • 简单错误
      • 简单错误指仅出现一次的错误,且在其他地方不需要捕获该错误
      • 优先使用 errors.New 创建匿名变量表示简单错误
      • 如果有格式化的需求,使用 fmt.Errorf
    • 错误和异常处理
      • 错误可以嵌套:Wrap 和 Unwrap
      • 错误的 Wrap 提供了一个 error 嵌套另一个 error的能力,从而生成一个 error 的跟踪链
      • 在 fmt.Errorf 中使用 %w 关键字来将一个错误关联至错误链中
    • 错误判定
      • 判断一个错误是否为特定错误,使用 errors.Is
      • 不同于 == ,该方法判定错误链上的所有错误是否含有特定的错误
      • 在错误链上获取特定种类的错误,使用 errors.As
    • panic
      • 不建议在业务代码中使用 panic
      • 调用函数不包含 recover 会造成程序崩溃
      • 当程序启动阶段发生不可逆转的错误时,可以在 init 或 main 函数中使用 panic
    • recover
      • recover 只能在被 defer 的函数中使用
      • 嵌套无法生效
      • 只在当前 goroutine 生效
      • defer 的语句是后进先出
      • 如果需要更多的上下文信息,可以在 recover 后在 log 中记录当前的调用栈

Go 性能优化

Benchmark

性能优化是编程中的一个关键领域,而基准测试(Benchmark)是评估代码性能的重要手段。通过使用 go test -bench -benchmem . 命令可以运行基准测试,并且可以获得函数的性能数据。基准测试会对代码片段进行多次执行,并测量运行时间和内存分配情况,从而可以判断不同实现的性能差异。

性能优化建议

性能优化是在编写代码中的一个关键阶段,它可以帮助提升代码的执行效率和资源利用率

  • slice 预分配内存
    • 尽可能在使用 make() 初始化切片时提供容量信息
    • 切片本质是一个数组片段的描述
      • 包括数组指针、片段的长度/容量(不改变内存分配情况下的最大长度)
    • 切片操作并不复制切片指向的元素
    • 创建一个新的切片会复用原来切片的底层数组
  • slice 切片陷阱:大内存未释放
    • 在已有切片基础上创建切片,不会创建新的底层数组
      • 若原切片较大,代码在原切片基础上新建小切片
      • 原底层数组在内存中有引用,得不到释放
    • 可使用 copy 代替 re-slice
origin[len(origin)-2:]

result := make([]int, 2)
copy(result, origin[len(origin)-2:])
  • map 预分配内存
    • 尽可能在使用 make() 初始化时提供容量信息
    • 不断向 map 中添加元素会触发 map 的扩容
    • 提前分配好空间可以减少内存拷贝和 Rehash 的消耗
    • 建议根据实际需求提前预估好需要的空间
  • 使用 strings.Builder
    • 使用 + 拼接性能最差,strings.Builder、bytes.Buffer 相近,strings.Builder 更快
      • bytes.Buffer 转化为字符串时重新申请了一块空间
      • bytes.Buffer 直接将底层 []byte 数组转换成字符串类型返回
    • 字符串在 Go 中是不可变类型,占用内存大小是固定的
    • 每次 + 都会重新分配内存
    • strings.Builder、bytes.Buffer 底层都是 []byte 数组
    • 内存扩容策略,不需要每次拼接重新分配内存
    • 如果预先知道字符串长度,可以先调用 builder.Grow() 扩容
  • 使用空结构体节省内存
    • 空结构体 struct{} 实例不占据任何内存空间
    • 可作为各种场景下的占位符使用
      • 节省资源
      • 空结构体本身具备很强的语义,即这里不需要任何值,仅作为占位符
    • 用于使用 map 实现 Set 时
      • 只需要用到 map 的键
      • 即使将 map 的值设为 bool 类型,也会多占据 1 个字节空间
  • atomic 包
    • 原子变量性能比加锁好
    • 锁的实现是通过操作系统实现的,属于系统调用
    • atomic 操作时通过硬件实现的,效率比锁高
    • sync.Mutex 应该用来保护一段逻辑,不仅仅用于保护一个变量
    • 对于非数值操作,可以使用 atomic.Value,它能承载一个 interface{}

性能调优

  • 要依靠数据而不是猜测
  • 要定位最大瓶颈而不是细枝末节
  • 不要过早优化
  • 不要过度优化

性能分析工具 pprof

pprof 是用于可视化和分析性能数据的工具,是标准库中的一个库

  • 分析 Profile
    • 网页、可视化终端
  • 展示 View
    • Top、调用图Graph、火焰图FlameGraph、Peek、源码Source、反汇编Disassemble
  • 工具 Tool
    • runtime/pprof
    • net/http/pprof
  • 采样 Sample
    • CPU、堆内存Heap、协程Goroutine、锁Mutex、阻塞Block、线程创建ThreadCreate
import  "net/http"
import _ "net/http/pprof"  // 初始化pprof

if err := http.ListenAndServe(":6060", nil); err != nil {
	log.Fatal(err)
}

访问 http://localhost:6060/debug/pprof 查看指标

CPU

  • 采样对象:函数调用和它们占用的时间
  • 采样率:100次/秒,固定值
  • 采样时间:手动指定
  • 原理
    • 进程向系统注册一个定时器
    • 操作系统:每 10ms 向进程发送一个 SIGPROF 信号
    • 进程:每次接收到 SIGPROF 会记录调用堆栈
    • 写缓冲:每 100ms 读取已经记录的调用栈并写入输出流
  1. 执行 go tool pprof "http://127.0.0.1:6060/debug/pprof/profile?seconds=10" 采集CPU在10秒内的数据
  2. 进入 (pprof) 后,输入 toptopN 查看占用资源最多的函数
    • flat:当前函数本身的执行耗时
    • flat%:flat占CPU总时间的比例
    • sum%:上面每一行的flat%总和
    • cum:函数本身加上其调用函数的总耗时
    • cum%:cum占CPU总时间的比例
    • flat == cum 时,表示函数中没有调用其他函数
    • flat == 0 时,表示函数中只有其他函数的调用
  3. 进入 (pprof) 后,输入 list [exp] 根据指定的正则表达式查找代码行(可以看到每行代码执行耗时)
  4. 进入 (pprof) 后,输入 web 可以生成调用关系可视化

内存

  • 采样程序通过内存分配器在堆上分配和释放的内存,记录分配/释放的大小和数量
  • 采样率:默认每分配 512KB 记录一次,可在运行开头修改,1 为每次分配均记录
  • 采样时间:从程序运行开始到采样结束
  • inuse = alloc - free

执行 go tool pprof -http=:8080 "http://127.0.0.1:6060/debug/pprof/heap" 生成堆内存占用分析图

  • SAMPLE 菜单中
    • alloc_objects: 程序累计申请的对象数
    • alloc_space: 程序累计申请的内存大小
    • inuse_objects: 程序当前持有的对象数
    • inuse_space: 程序当前占用的内存大小

协程

  • 记录所有用户发起且在运行中的 goroutine (即入口非 runtime 开头的)
  • ThreadCreate 记录程序创建的所有系统线程的信息

执行 go tool pprof -http=:8080 "http://127.0.0.1:6060/debug/pprof/goroutine"

  • 建议在 VIEW 菜单中查看火焰图
    • 由上到下表示调用顺序
    • 每一块代表一个函数,越长表示占用CPU的时间越长

锁 Mutex

runtime.SetMutexProfileFraction(1)
runtime.SetBlockProfileRate(1)
  • 采样争抢锁的次数和耗时
  • 采样率:只记录固定比例的锁操作,1 为每次加锁均记录

执行 go tool pprof -http=:8080 "http://127.0.0.1:6060/debug/pprof/mutex"

阻塞 Block

  • 采样阻塞操作的次数和耗时
  • 采样率:阻塞耗时超过阈值的才会被记录,1 为每次阻塞均记录

执行 go tool pprof -http=:8080 "http://127.0.0.1:6060/debug/pprof/block"

性能调优案例

  • 业务服务优化
  • 基础库优化
  • Go 语言优化

建立服务性能评估手段

  • 服务性能评估方式
    • 单独 Benchmark 无法满足复杂逻辑分析
    • 不同负载情况下性能表现差异
  • 请求流量构造
    • 不同请求参数覆盖逻辑不同
    • 线上真实流量情况
  • 压测范围
    • 单机压测
    • 集群压测
  • 性能数据采集
    • 单机性能数据
    • 集群性能数据

分析性能数据,定位性能瓶颈

  • 使用库不规范
  • 高并发场景优化不足(不同负载下性能)

重点优化项改造

  • 正确性是基础
  • 响应数据 diff
    • 线上请求数据录制回放
    • 新旧逻辑接口数据 diff

优化效果验证

  • 重复压测验证
  • 上线评估优化效果
    • 关注服务监控
    • 逐步放量
    • 收集性能数据

进一步优化,服务整体链路分析

  • 规范上游服务调用接口,明确场景需求
  • 分析链路,通过业务流程优化提升服务性能

SDK优化

  • 分析基础库核心逻辑和性能瓶颈
    • 设计完善改造方案
    • 数据按需获取
    • 数据序列化协议优化
  • 内部压测验证
  • 推广业务服务落地验证

编译期&运行时优化

  • 优化内存分配策略
  • 优化代码编译流程,生成更高效的程序
  • 优点
    • 接入简单,只需要调整编译配置
    • 通用性强