Go 高质量编程和性能调优 | 青训营笔记

72 阅读9分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 4 天。

这部分的学习目标:

  • 了解如何编写更简洁清晰的代码
  • 了解常用 Go 语言程序优化手段
  • 熟悉 Go 程序性能分析工具
  • 了解工程中性能优化的原则和流程

1 高质量编程

1.1 简介

1.1.1 高质量的标准

高质量代码:编写的代码能够达到正确可靠、简洁清晰的目标

  • 正确性:各种边界条件是否考虑完备,能否处理错误的调用
  • 可靠性:异常情况或者错误的处理策略是否明确,依赖的服务出现异常是否能够处理
  • 简洁:逻辑是否简单(易读),后续调整功能或新增功能是否能够快速支持
  • 清晰:其他人在阅读理解代码时能否清楚明白,重构或修改功能是否不用担心出现无法预料的问题(易维护)

1.1.2 编程原则

  • 简单性
    • 消除”多余的复杂性“,以简单清晰的逻辑编写代码
    • 不理解的代码无法修复改进
  • 可读性
    • 代码是写给人看的,不是给机器看的
    • 编写可维护代码的第一步是确保代码可读
  • 生产力:团队整体工作效率非常重要

1.2 编码规范

此部分讲解如何编写高质量的 Go 代码

1.2.1 代码格式

  • 使用 gofmt 自动格式化代码。gofmt 是 Go 官方提供的工具,可以自动格式化 Go 语言为官方同统一风格,常见 IDE 都支持方便的配置
  • 使用 goimports 对依赖包进行管理(也是 Go 官方提供的工具),自动增删依赖包的引用,按字母序排序分类。

1.2.2 注释

注释应该做到:

  • 解释代码作用:适合说明公共符号,例如对外提供函数注释描述其功能和用途。只有函数功能较简单且明显时可以省略注释。注释要避免罗嗦,不要对显而易见的内容进行说明。
  • 解释代码如何做的:适合注释实现过程,对不明显的逻辑进行说明。
  • 解释代码实现的原因:适合解释代码的外部因素,提供额外上下文。
  • 解释代码什么情况会出错:适合解释代码的限制条件,提醒使用者一些潜在的限制条件或无法处理的情况

对于包,公共符号始终要注释:

  • 包中声明的每个公告符号(变量、常量、函数和结构体)都要注释
  • 任何不明显也不简短的公共功能必须注释
  • 无论长度和复杂度,库中的任何函数都必须注释
  • 有一个例外:实现接口的方法无需注释。

1.2.3 命名规范

1.2.3.1 变量

  • 尽量简洁
  • 缩略词全大写,但当其位于变量开头且不需要导出时,使用全小写
    • 例如用 ServeHTTP,而不是 ServeHttp
    • 使用 XMLHTTPRequest 或者 xmlHTTPRequest
  • 变量距离其被使用的地方越远,则需要携带越多的上下文信息。全局变量在其名字中需要更多的上下文信息,使得在不同地方可以轻易辨析出其含义

1.2.3.2 函数

  • 函数名尽量不携带包名的上下文信息。因为包名和函数名总是成对出现
  • 函数名尽量简短
  • 当名为foo的包中某个函数返回Foo时,可以省略类型信息而不导致歧义
  • 当名为foo的包中某个函数返回类型T时(T不是Foo),可以在函数名中加入类型信息

1.2.3.3 包

  • 只由小写字母组成,不包含大写字母和下划线等字符
  • 简短并包含一定的上下文信息,例如 schema, task 等
  • 不要与标准库同名,例如不要使用 sync 获证 strings

以下规则尽量满足:

  • 不适用常用变量作为包名,例如使用 bufio 而不是 buf
  • 使用单数而不是复数,例如使用 encoding 而不是 encodings
  • 谨慎使用缩写,例如使用 fmt 在不破坏上下文的情况下比 format 更加简短

包名也涉及到项目代码结构划分和层次安排,具体名称不同项目也会有细微差异,实际中要保持项目内风格统一

1.2.4 控制流程

  • 避免嵌套,保持流程正常清晰。基于线性逻辑,处理逻辑尽量走直线,避免复杂的嵌套分支
  • 尽量保持正常代码路径为最小缩进。优先处理错误情况/特殊情况,尽早返回或继续循环来减少嵌套
  • 故障问题大多出现在复杂的条件语句和循环语句中

1.2.5 错误和异常处理

1.2.5.1 简单错误

  • 简答错误指仅出现一次的错误,且在其他地方不需要捕获该错误
  • 优先使用 error.New 来创建匿名变量直接表示简单错误
  • 如果有格式化的需求,使用 fmt.Errorf

1.2.5.2 error 的 Warp 和 Unwarp

  • error 的 Warp 实际上是提供了 一个 error 嵌套另一个 error 的能力,从而生成了一个 error 的跟踪链
  • 在 fmt.Errorf 中使用 %w 关键字来将一个错误关联至错误链中

1.2.5.3 错误判定

  • 判定一个错误是否为特定错误,使用 errors.Is()
  • 不同于使用 ==,使用该方法可以判定错误链上的所有错误是否含有特定的错误
  • 在错误链上获取特定种类的错误,使用 errors.As()。它和 is 的区别在于:as 会提取出调用链中指定类型的 error,并将 error 赋值给定义好的变量以便后续处理。

1.2.5.4 panic

  • 不建议在业务代码中使用 panic
  • 调用函数不包含 recover 会造成程序崩溃。
  • 若问题可以被屏蔽或解决,建议使用 error 代替 panic
  • 当程序启动阶段发生不可逆转的错误时,可以在 init 或 main 函数中使用 panic

1.2.5.5 recover

  • recover 只能在被 defer 的函数中使用
  • 嵌套无法生效
  • 只在当前 goroutine 生效
  • defer 语句执行顺序:先进后出
  • 如果需要更多的上下文信息,可以 recover 后在 log 中记录当前的调用栈

1.3 性能优化建议

性能优化的前提:满足正确可靠、简洁清晰等质量因素

性能优化是综合评估,有时候时间效率和空间效率可能对立

以下建议只针对 Go 语言特性

1.3.1 Benchmark

参见 Go 语言工程进阶的基准测试部分。

1.3.2 Slice

  • Slice 预分配内存:尽量在使用 make() 初始化切片时提供容量信息
    • 切片本质是一个数组片段的描述,包括:数组指针,片段长度,片段容量
    • 切片操作并不复制切片指向的元素
    • 创建一个新的切片会复用原来切片的底层数组
  • 大内存未释放陷阱
    • 原切片比较大,代码在原切片的基础上新建小切片
    • 原底层数组在内存中有引用,得不到释放
    • 可以使用 copy 替代 re-slice

1.3.3 Map

类似slice,建议对 map 预分配内存

  • 不断向 map 中添加元素的操作会触发 map 的扩容
  • 提前分配好空间可以减少内存拷贝和 Rehash 的消耗
  • 建议根据实际需求提前预估好需要的空间

1.3.4 字符串处理

使用 strings.Builder() 执行字符串操作,例如字符串拼接等,并且也预分配内存。

func StrBuilder(n int, str stinrg) string {
    var builder strings.Builder
    for i:=0; i<n; i++ {
        builder.WriteSring(str)
    }
    return builder.String()
}

1.3.5 空结构体

使用空结构体节省内存

  • 空结构体实例不占据任何的内存空间
  • 可以作为各种场景下的占位符使用
    • 节省资源
    • 空结构体本身具有很强的语义,即这里不需要任何值,仅作为占位符

例如 Set 的实现,可以考虑用 map + 空结构体来实现

1.3.6 atomic 包

并发编程时可能会进行加锁操作以保证正确性,对于只是保证变量更新的操作,可以使用原子操作(atomic包)来提高效率

  • 锁的实现是通过操作系统来实现,属于系统调用
  • atomic 操作是通过硬件实现的,效率比锁高
  • sync.Mutex 应该用来保护一段逻辑,不仅仅用于保护一个变量
  • 对于非数值操作,可以使用 atomic.Value,能承载一个 interface{}

1.3.7 tips

  • 避免常见的性能陷阱可以保证大部分程序的性能
  • 普通应用代码,不要一味地追求程序性能
  • 越高级的性能优化手段越容易出现问题
  • 明确前提:在满足正确可靠、简洁清晰的质量要求的前提下提高程序性能

2 性能调优实战

2.1 简介

pprof 工具可以用来排序 Go 程序性能问题,已被集成到 Golang 的 httep 标准库中。

分析方式:

  • 网页
  • 可视化终端

pprof 会采样程序运行时的CPU、堆内存、goroutine、锁竞争、阻塞调用和系统线程的使用数据

结果展示:用户可以通过列表、调用图、火焰图、源码、反汇编等视图去展示采集到的性能指标

2.2 性能调优工具 pprof 实战

网页结果会展示可用的程序运行采用数据:

  • allocs 内存分配情况
  • blocks 阻塞操作情况
  • cmdline 程序启动命令
  • goroutine 当前所有 goroutine 的堆栈信息
  • heap 堆上内存使用情况(同 alloc)
  • mutex 锁竞争操作情况
  • profile CPU占用情况
  • threadcreate 当前所有创建的系统线程的堆栈信息
  • trace 程序运行跟踪信息

2.2.1 CPU

使用以下命令启动启动pprof工具以可视化终端形式探查CPU(对应 url 中的profile)情况,采样10秒。

go tool pprof "http:localhost:6060/debug/pprof/profile?seconds=10"

此命令会启动交互式pprof命令行,可以使用以下命令:

  • top 查看函数的CPU占用情况
  • list 根据指定的正则表达式查找代码行,并按行展示每一行的CPU占用情况
  • web 升序一张调用关系图并在浏览器中打开

2.2.2 堆内存

添加 -http 参数可以以网页形式展示结果,url后缀改为heap表示查看heap占用情况

go tool pprof -http=:8080 "http:localhost:6060/debug/pprof/heap"

类似地,将后缀改为其他词即可查看对应情况。