Go 高质量编程与性能调优 课堂笔记与资料总结 ｜ 青训营笔记

DawnSiro
281 阅读12分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 10 天

录播课，主要讲了下 Go 语言中的一些编码规范和性能测试工具的用法和分析方法。

阅读推荐

课程概述

  • 介绍编码规范，帮助大家写出高质量程序
  • 介绍 Go 语言的性能优化建议，分析对比不同方式对性能的影响和背后的原理
  • 讲解常用性能分析工具 pprof 的使用和工作原理，熟悉排查程序性能问题的基本流程
  • 分析性能调优实际案例，介绍实际性能调优时的工作内容

高质量编程

编写的代码能够达到正确可靠、简洁清晰、无性能隐患的目标就能称之为高质量代码

写算法题的时候，总是想找到一个最优解，但是实际应用场景千变万化，有些场景并没有绝对意义上的最优解。

虽然各种语言的特性和语法各不相同，但是高质量编程遵循的原则是相通的。

高质量的编程需要注意以下三个原则：简单性、可读性、生产力

简单性

  1. 消除"多余的复杂性"，以简单清晰的逻辑编写代码
  1. 不理解的代码无法修复改进，也会增加维护的难度

可读性

  1. 代码是写给人看的，而不是机器
  1. 编写可维护代码的第一步是确保代码可读

生产力

  1. 团队整体工作效率非常重要

常见编码规范

代码格式

  • 使用 gofmt 自动格式化代码，保证所有的 Go 代码与官方推荐格式保持一致

但其实，gofmt 的格式化会收到代码间注释、换行等等的细节影响，还是有调整的空间的。

比如说，导包的时候，gofmt 的默认格式化方式是按照字符串的字典序执行自动排序，但是如果两个包名之间有一行空行的话，gofmt 不会消除这个空行，而只会对相邻的行进行字典序排序。

举个例子：

添加空行前

 import (
     "fmt"
     "gorm.io/driver/mysql"
     "gorm.io/gorm"
     "gorm.io/gorm/logger"
     "log"
     "os"
     "strconv"
     "strings"
     "time"
 )

添加空行后（将标准库和第三方库分开）

 import (
     "fmt"
     "log"
     "os"
     "strconv"
     "strings"
     "time"
 ​
     "gorm.io/driver/mysql"
     "gorm.io/gorm"
     "gorm.io/gorm/logger"
 )

总结

  • 提升可读性，风格一致的代码更容易维护、需要更少的学习成本、团队合作成本，同时可以降低 Review 成本

注释

  • 注释应该解释代码什么情况会出错

总结

  • 代码是最好的注释
  • 注释应该提供代码未表达出的上下文信息

命名规范

  • variable

    • 简洁胜于冗长
    • 缩略词全大写，但当其位于变量开头且不需要导出时，使用全小写
    • 变量距离其被使用的地方越远，则需要携带越多的上下文信息
    • 全局变量在其名字中需要更多的上下文信息，使得在不同地方可以轻易辨认出其含义

  • function

    • 函数名不携带包名的上下文信息，因为包名和函数名总是成对出现的
    • 函数名尽量简短
    • 当名为 foo 的包某个函数返回类型 Foo 时，可以省略类型信息而不导致歧义
    • 当名为 foo 的包某个函数返回类型 T 时（T 并不是 Foo），可以在函数名中加入类型信息

  • package

    • 只由小写字母组成。不包含大写字母和下划线等字符
    • 简短并包含一定的上下文信息。例如 schema、task 等
    • 不要与标准库同名。例如不要使用 sync 或者 strings

总结

  • 关于命名的大多数规范核心在于考虑上下文
  • 人们在阅读理解代码的时候也可以看成是计算机运行程序，好的命名能让人把关注点留在主流程上，清晰地理解程序的功能，避免频繁切换到分支细节，增加理解成本

控制流程

  • 避免嵌套，保持正常流程清晰
  • 如果两个分支中都包含 return 语句，则可以去除冗余的 else

  • 尽量保持正常代码路径为最小缩进，优先处理错误情况/特殊情况，并尽早返回或继续循环来减少嵌套，增加可读性

总结

  • 线性原理，处理逻辑尽量走直线，避免复杂的嵌套分支
  • 提高代码的可读性

错误和异常处理

  • 简单错误处理

    • 优先使用 errors.New 来创建匿名变量来直接表示该错误。有格式化需求时使用 fmt.Errorf
    • github.com/golang/go/b…

  • 错误的 Wrap 和 Unwrap

    • 在 fmt.Errorf 中使用 %w 关键字来将一个错误 wrap 至其错误链中
    • github.com/golang/go/b…

    • Go1.13 在 errors 中新增了三个新 API 和一个新的 format 关键字，分别是 errors.Is、errors.As 、errors.Unwrap 以及 fmt.Errorf 的 %w。如果项目运行在小于 Go1.13 的版本中，导入 golang.org/x/xerrors 来使用。以下语法均已 Go1.13 作为标准。

  • panic

    • 不建议在业务代码中使用 panic
    • 如果当前 goroutine 中所有 deferred 函数都不包含 recover 就会造成整个程序崩溃
    • 当程序启动阶段发生不可逆转的错误时，可以在 init 或 main 函数中使用 panic
    • github.com/Shopify/sar…

  • recover

总结

  • panic 用于真正异常的情况
  • error 尽可能提供简明的上下文信息，方便定位问题
  • recover 生效范围，在当前 goroutine 的被 defer 的函数中生效

性能优化建议

  • 在满足正确性、可靠性、健壮性、可读性等质量因素的前提下，设法提高程序的效率
  • slice 预分配内存

    • 在尽可能的情况下，在使用 make() 初始化切片时提供容量信息，特别是在追加切片时

    • 原理

      • ueokande.github.io/go-slice-tr…

      • 切片本质是一个数组片段的描述，包括了数组的指针，这个片段的长度和容量(不改变内存分配情况下的最大长度)

      • 切片操作并不复制切片指向的元素，创建一个新的切片会复用原来切片的底层数组，因此切片操作是非常高效的

      • 切片有三个属性，指针(ptr)、长度(len) 和容量(cap)。append 时有两种场景：

        • 当 append 之后的长度小于等于 cap，将会直接利用原底层数组剩余的空间
        • 当 append 后的长度大于 cap 时，则会分配一块更大的区域来容纳新的底层数组

      • 因此，为了避免内存发生拷贝，如果能够知道最终的切片的大小，预先设置 cap 的值能够获得最好的性能

    • 另一个陷阱：大内存得不到释放

      • 在已有切片的基础上进行切片，不会创建新的底层数组。因为原来的底层数组没有发生变化，内存会一直占用，直到没有变量引用该数组
      • 因此很可能出现这么一种情况，原切片由大量的元素构成，但是我们在原切片的基础上切片，虽然只使用了很小一段，但底层数组在内存中仍然占据了大量空间，得不到释放
      • 推荐的做法，使用 copy 替代 re-slice
  • map 预分配内存

    • 原理

      • 不断向 map 中添加元素的操作会触发 map 的扩容
      • 根据实际需求提前预估好需要的空间
      • 提前分配好空间可以减少内存拷贝和 Rehash 的消耗
  • 使用 strings.Builder

    • 常见的字符串拼接方式

      • strings.Builder
      • bytes.Buffer

    • strings.Builder 最快，bytes.Buffer 较快，+ 最慢

    • 原理

      • 字符串在 Go 语言中是不可变类型，占用内存大小是固定的，当使用 + 拼接 2 个字符串时，生成一个新的字符串，那么就需要开辟一段新的空间，新空间的大小是原来两个字符串的大小之和
      • strings.Builder，bytes.Buffer 的内存是以倍数申请的
      • strings.Builder 和 bytes.Buffer 底层都是 []byte 数组，bytes.Buffer 转化为字符串时重新申请了一块空间，存放生成的字符串变量，而 strings.Builder 直接将底层的 []byte 转换成了字符串类型返回
  • 使用空结构体节省内存

    • 空结构体不占据内存空间，可作为占位符使用

    • 比如实现简单的 Set

      • Go 语言标准库没有提供 Set 的实现，通常使用 map 来代替。对于集合场景，只需要用到 map 的键而不需要值
  • 使用 atomic 包

    • 原理

      • 锁的实现是通过操作系统来实现，属于系统调用，atomic 操作是通过硬件实现的，效率比锁高很多
      • sync.Mutex 应该用来保护一段逻辑，不仅仅用于保护一个变量
      • 对于非数值系列，可以使用 atomic.Value，atomic.Value 能承载一个 interface{}

总结

  • 避免常见的性能陷阱可以保证大部分程序的性能
  • 针对普通应用代码，不要一味地追求程序的性能，应当在满足正确可靠、简洁清晰等质量要求的前提下提高程序性能

性能调优实战

性能调优简介

  • 性能调优原则

    • 要依靠数据不是猜测
    • 要定位最大瓶颈而不是细枝末节
    • 不要过早优化
    • 不要过度优化

性能分析工具

性能调优的核心是性能瓶颈的分析，对于 Go 应用程序，最方便的就是 pprof 工具

  • pprof 功能说明
    • pprof 是用于可视化和分析性能分析数据的工具
    • 可以知道应用在什么地方耗费了多少 CPU、memory 等运行指标
  • pprof 的采样过程和原理
    • CPU 采样
    • 堆内存采样
    • 协程和系统线程采样
    • 阻塞操作和锁竞争采样

性能调优案例

  • 基本概念
    • 服务：能单独部署，承载一定功能的程序
    • 依赖：Service A 的功能实现依赖 Service B 的响应结果，称为 Service A 依赖 Service B
    • 调用链路：能支持一个接口请求的相关服务集合及其相互之间的依赖关系
    • 基础库：公共的工具包、中间件
  • 业务优化

    • 流程

      • 建立服务性能评估手段
      • 分析性能数据，定位性能瓶颈
      • 重点优化项改造
      • 优化效果验证

    • 建立压测评估链路

      • 服务性能评估
      • 构造请求流量
      • 压测范围
      • 性能数据采集

    • 分析性能火焰图，定位性能瓶颈

      • pprof 火焰图

    • 重点优化项分析

      • 规范组件库使用
      • 高并发场景优化
      • 增加代码检查规则避免增量劣化出现
      • 优化正确性验证

    • 上线验证评估

      • 逐步放量，避免出现问题

    • 进一步优化，服务整体链路分析

      • 规范上游服务调用接口，明确场景需求
      • 分析业务流程，通过业务流程优化提升服务性能
  • 基础库优化

    • 适应范围更广，覆盖更多服务

    • AB 实验 SDK 的优化

      • 分析基础库核心逻辑和性能瓶颈
      • 完善改造方案，按需获取，序列化协议优化
      • 内部压测验证
      • 推广业务服务落地验证
  • Go 语言优化

    • 适应范围最广，Go 服务都有收益

    • 优化方式

      • 优化内存分配策略
      • 优化代码编译流程，生成更高效的程序
      • 内部压测验证
      • 推广业务服务落地验证

课后思考题

  • 了解下其他语言的编码规范，是否和 Go 语言编码规范有相通之处，注重理解哪些共同点

倒是了解过 Kotlin 的一些代码风格的推荐，感觉每个语言都会根据设计时的特性对代码风格有所推荐。

  • 编码规范或者性能优化建议大部分是通用的，有没有方式能够自动化对代码进行检测？

go linter吧，目前主要是IDE提供的检查。

后面看源码时再看吧

  • 使用 Go 进行并发编程时有哪些性能陷阱或者优化手段？
  • 在真实的线上环境中，每个场景或者服务遇到的性能问题也是各种各样，搜索下知名公司的官方公众号或者博客，里面有哪些性能优化的案例？比如 eng.uber.com/category/os…
  • Go 语言本身在持续更新迭代，每个版本在性能上有哪些重要的优化点？

参考资料

  • 《编程的原则：改善代码质量的101个方法》，总结了很多编程原则，按照是什么 -> 为什么 -> 怎么做进行了说明，mp.weixin.qq.com/s/vXSZOl2Gt…
  • Go 官方博客，有关于 Go 的最新进展，go.dev/blog/
avatar
文章
阅读
粉丝