Go 高质量编程
高质量编程强调的是代码的规范性、可读性和可维护性,旨在创建出易于理解、易于扩展和稳定可靠的软件。
而性能优化则着眼于代码在运行时的性能表现,通过优化算法、数据结构和代码结构,以及合理利用底层硬件资源,从而提升系统的响应速度和资源利用效率。
在当今的软件开发环境中,代码的质量不仅仅体现在功能的实现,更涉及到代码的整体结构、可维护性以及团队协作的效率。高质量编程意味着遵循一系列明确的规范,从命名、注释到代码风格,使得代码逻辑清晰、易于理解,并且方便多人协作开发和维护。
性能调优可以让软件在处理大规模数据、高并发请求时能够更加高效地运行。涵盖算法优化、数据结构优化、代码执行路径优化等方面,旨在降低资源消耗,提高系统的吞吐量和响应速度。
- 简单性
- 消除“多余的复杂性”,以简单清晰的逻辑编写代码
- 不理解的代码无法修复改进
- 可读性
- 代码是给人看的,而不是机器
- 编写可维护代码的第一步是确保代码可读
- 生产力
- 团队整体工作效率非常重要
编码规范
代码格式
- 使用 Go 官方提供的 gofmt 自动格式化代码
- goimports 等于 gofmt 加上依赖包管理,自动增删依赖的包引用,将依赖包按字母序排序并分类
注释
- 公共符号始终要注释
- 包中声明的每个公共的符号:变量、常量、函数以及结构都需要添加注释
- 任何既不明显也不简短的公共功能必须注释
- 无论长度或复杂度如何,对库中的任何函数都必须进行注释
- 不需要注释实现接口的方法
- 注释应该解释代码的作用
- 注释应该解释代码如何做的
- 注释应该解释代码实现的原因
- 注释应该解释代码什么情况会出错
命名规范
- 变量
- 简洁胜于冗长
- 缩略词全大写,但当其位于变量开头且不需要导出时,使用全小写
- 变量距离其被使用的地方越远,则需要携带越多的上下文信息(特别是全局变量)
- 函数名
- 函数名尽量简短
- 函数名不携带包名的上下文信息,因为包名和函数名总是成对出现
- 当名为 foo 的包某个函数返回类型 Foo 时,可以省略类型信息而不导致歧义;否则,可以在函数名中加入类型信息
- package
- 只由小写字母组成
- 简短并包含一定的上下文信息
- 不要与标准库同名
- 尽量满足:
- 不使用常用变量名作为包名
- 使用单数而不是复数
- 谨慎地使用缩写
- 控制流
- 避免嵌套,保持正常流程清晰
- 注意去除冗余的 else
- 尽量保持正常代码路径为最小缩进
- 优先处理错误/特殊情况,尽早返回或继续循环来减少嵌套
- 避免嵌套,保持正常流程清晰
- 错误
- 简单错误
- 简单错误指仅出现一次的错误,且在其他地方不需要捕获该错误
- 优先使用 errors.New 创建匿名变量表示简单错误
- 如果有格式化的需求,使用 fmt.Errorf
- 错误和异常处理
- 错误可以嵌套:Wrap 和 Unwrap
- 错误的 Wrap 提供了一个 error 嵌套另一个 error的能力,从而生成一个 error 的跟踪链
- 在 fmt.Errorf 中使用
%w关键字来将一个错误关联至错误链中
- 错误判定
- 判断一个错误是否为特定错误,使用 errors.Is
- 不同于
==,该方法判定错误链上的所有错误是否含有特定的错误 - 在错误链上获取特定种类的错误,使用 errors.As
- panic
- 不建议在业务代码中使用 panic
- 调用函数不包含 recover 会造成程序崩溃
- 当程序启动阶段发生不可逆转的错误时,可以在 init 或 main 函数中使用 panic
- recover
- recover 只能在被 defer 的函数中使用
- 嵌套无法生效
- 只在当前 goroutine 生效
- defer 的语句是后进先出
- 如果需要更多的上下文信息,可以在 recover 后在 log 中记录当前的调用栈
- 简单错误
Go 性能优化
Benchmark
性能优化是编程中的一个关键领域,而基准测试(Benchmark)是评估代码性能的重要手段。通过使用 go test -bench -benchmem . 命令可以运行基准测试,并且可以获得函数的性能数据。基准测试会对代码片段进行多次执行,并测量运行时间和内存分配情况,从而可以判断不同实现的性能差异。
性能优化建议
性能优化是在编写代码中的一个关键阶段,它可以帮助提升代码的执行效率和资源利用率
- slice 预分配内存
- 尽可能在使用 make() 初始化切片时提供容量信息
- 切片本质是一个数组片段的描述
- 包括数组指针、片段的长度/容量(不改变内存分配情况下的最大长度)
- 切片操作并不复制切片指向的元素
- 创建一个新的切片会复用原来切片的底层数组
- slice 切片陷阱:大内存未释放
- 在已有切片基础上创建切片,不会创建新的底层数组
- 若原切片较大,代码在原切片基础上新建小切片
- 原底层数组在内存中有引用,得不到释放
- 可使用 copy 代替 re-slice
- 在已有切片基础上创建切片,不会创建新的底层数组
origin[len(origin)-2:]
result := make([]int, 2)
copy(result, origin[len(origin)-2:])
- map 预分配内存
- 尽可能在使用 make() 初始化时提供容量信息
- 不断向 map 中添加元素会触发 map 的扩容
- 提前分配好空间可以减少内存拷贝和 Rehash 的消耗
- 建议根据实际需求提前预估好需要的空间
- 使用 strings.Builder
- 使用
+拼接性能最差,strings.Builder、bytes.Buffer 相近,strings.Builder 更快- bytes.Buffer 转化为字符串时重新申请了一块空间
- bytes.Buffer 直接将底层
[]byte数组转换成字符串类型返回
- 字符串在 Go 中是不可变类型,占用内存大小是固定的
- 每次
+都会重新分配内存 - strings.Builder、bytes.Buffer 底层都是
[]byte数组 - 内存扩容策略,不需要每次拼接重新分配内存
- 如果预先知道字符串长度,可以先调用 builder.Grow() 扩容
- 使用
- 使用空结构体节省内存
- 空结构体
struct{}实例不占据任何内存空间 - 可作为各种场景下的占位符使用
- 节省资源
- 空结构体本身具备很强的语义,即这里不需要任何值,仅作为占位符
- 用于使用 map 实现 Set 时
- 只需要用到 map 的键
- 即使将 map 的值设为 bool 类型,也会多占据 1 个字节空间
- 空结构体
- atomic 包
- 原子变量性能比加锁好
- 锁的实现是通过操作系统实现的,属于系统调用
- atomic 操作时通过硬件实现的,效率比锁高
- sync.Mutex 应该用来保护一段逻辑,不仅仅用于保护一个变量
- 对于非数值操作,可以使用 atomic.Value,它能承载一个 interface{}
性能调优
- 要依靠数据而不是猜测
- 要定位最大瓶颈而不是细枝末节
- 不要过早优化
- 不要过度优化
性能分析工具 pprof
pprof 是用于可视化和分析性能数据的工具,是标准库中的一个库
- 分析 Profile
- 网页、可视化终端
- 展示 View
- Top、调用图Graph、火焰图FlameGraph、Peek、源码Source、反汇编Disassemble
- 工具 Tool
- runtime/pprof
- net/http/pprof
- 采样 Sample
- CPU、堆内存Heap、协程Goroutine、锁Mutex、阻塞Block、线程创建ThreadCreate
import "net/http"
import _ "net/http/pprof" // 初始化pprof
if err := http.ListenAndServe(":6060", nil); err != nil {
log.Fatal(err)
}
访问
http://localhost:6060/debug/pprof查看指标
CPU
- 采样对象:函数调用和它们占用的时间
- 采样率:100次/秒,固定值
- 采样时间:手动指定
- 原理
- 进程向系统注册一个定时器
- 操作系统:每 10ms 向进程发送一个 SIGPROF 信号
- 进程:每次接收到 SIGPROF 会记录调用堆栈
- 写缓冲:每 100ms 读取已经记录的调用栈并写入输出流
- 执行
go tool pprof "http://127.0.0.1:6060/debug/pprof/profile?seconds=10"采集CPU在10秒内的数据 - 进入
(pprof)后,输入top或topN查看占用资源最多的函数- flat:当前函数本身的执行耗时
- flat%:flat占CPU总时间的比例
- sum%:上面每一行的flat%总和
- cum:函数本身加上其调用函数的总耗时
- cum%:cum占CPU总时间的比例
- flat == cum 时,表示函数中没有调用其他函数
- flat == 0 时,表示函数中只有其他函数的调用
- 进入
(pprof)后,输入list [exp]根据指定的正则表达式查找代码行(可以看到每行代码执行耗时) - 进入
(pprof)后,输入web可以生成调用关系可视化
内存
- 采样程序通过内存分配器在堆上分配和释放的内存,记录分配/释放的大小和数量
- 采样率:默认每分配 512KB 记录一次,可在运行开头修改,1 为每次分配均记录
- 采样时间:从程序运行开始到采样结束
- inuse = alloc - free
执行 go tool pprof -http=:8080 "http://127.0.0.1:6060/debug/pprof/heap" 生成堆内存占用分析图
- SAMPLE 菜单中
- alloc_objects: 程序累计申请的对象数
- alloc_space: 程序累计申请的内存大小
- inuse_objects: 程序当前持有的对象数
- inuse_space: 程序当前占用的内存大小
协程
- 记录所有用户发起且在运行中的 goroutine (即入口非 runtime 开头的)
- ThreadCreate 记录程序创建的所有系统线程的信息
执行 go tool pprof -http=:8080 "http://127.0.0.1:6060/debug/pprof/goroutine"
- 建议在 VIEW 菜单中查看火焰图
- 由上到下表示调用顺序
- 每一块代表一个函数,越长表示占用CPU的时间越长
锁 Mutex
runtime.SetMutexProfileFraction(1)
runtime.SetBlockProfileRate(1)
- 采样争抢锁的次数和耗时
- 采样率:只记录固定比例的锁操作,1 为每次加锁均记录
执行 go tool pprof -http=:8080 "http://127.0.0.1:6060/debug/pprof/mutex"
阻塞 Block
- 采样阻塞操作的次数和耗时
- 采样率:阻塞耗时超过阈值的才会被记录,1 为每次阻塞均记录
执行 go tool pprof -http=:8080 "http://127.0.0.1:6060/debug/pprof/block"
性能调优案例
- 业务服务优化
- 基础库优化
- Go 语言优化
建立服务性能评估手段
- 服务性能评估方式
- 单独 Benchmark 无法满足复杂逻辑分析
- 不同负载情况下性能表现差异
- 请求流量构造
- 不同请求参数覆盖逻辑不同
- 线上真实流量情况
- 压测范围
- 单机压测
- 集群压测
- 性能数据采集
- 单机性能数据
- 集群性能数据
分析性能数据,定位性能瓶颈
- 使用库不规范
- 高并发场景优化不足(不同负载下性能)
重点优化项改造
- 正确性是基础
- 响应数据 diff
- 线上请求数据录制回放
- 新旧逻辑接口数据 diff
优化效果验证
- 重复压测验证
- 上线评估优化效果
- 关注服务监控
- 逐步放量
- 收集性能数据
进一步优化,服务整体链路分析
- 规范上游服务调用接口,明确场景需求
- 分析链路,通过业务流程优化提升服务性能
SDK优化
- 分析基础库核心逻辑和性能瓶颈
- 设计完善改造方案
- 数据按需获取
- 数据序列化协议优化
- 内部压测验证
- 推广业务服务落地验证
编译期&运行时优化
- 优化内存分配策略
- 优化代码编译流程,生成更高效的程序
- 优点
- 接入简单,只需要调整编译配置
- 通用性强