高质量编程与性能调优实战 | 青训营

91 阅读10分钟

一、高质量编程。

1.什么是高质量?

编写的代码能够达到正确可靠,简沽清晰的目标可称之为高质量代码。

  • 各种边界条件是否考点完备。
  • 异常情况处理,稳定性保证。
  • 易读易维护。

2. 编程原则

实际应用场景千变万化,各种语言的特性和语法各不相同,但是高质量编程遵循的原则是相通的。编写高质量代码实际上可以遵循一个统一的原则:保证代码的简单性、可读性,提高团队生产力。

  • 简单性

消除“多余的复杂性”,用最简单清晰的逻辑编写代码。

不理解的代码无法修复改进。

  • 可读性

代码是写给人看的,而不是机器。

编写可维护代码的第一步是确保代码可读。

  • 生产力

编程更多的是团队合作,因此团队整体的工作效率非常重要。

3. 编码规范

我们如何编写高质量的 Go 代码?

  • 代码格式:

推荐使用 Gofmt 自动格式化代码。

Gofmt:Go 语言官方提供的工具,能自动格式化 Go 语言代码为官方统一风格,常见 IDE 都支持方便的配置。

Goimports:也是 Go 语言官方提供的工具,实际等于 Gofmt 加上依赖包管理,自动增删依赖的包引用、将依赖包按字母序排序并分类。

  • 注释

注释应该解释代码作用。

注释应该解释代码如何做的。

注释应该解释代码实现的原因。

注释应该解释代码什么情况会出错。

公共符号始终要注释。

  • 命名规范

variable:

简洁胜于冗长

缩略词全大写,但当其位于变量开头且不需要导出时,使用全小写

变量距离其被使用的地方越远,则需要携带越多的上下文信息

全局变量在其名字中需要更多的上下文信息,使得在不同地方可以轻易辨认出其含义

function:

函数名不携带包名的上下文信息,因为包名和函数名总是成对出现的

函数名尽量简短

当名为 foo 的包某个函数返回类型 Foo 时,可以省略类型信息而不导致歧义

当名为 foo 的包某个函数返回类型 T 时(T 并不是 Foo),可以在函数名中加入类型信息

package:

只由小写字母组成。不包含大写字母和下划线等字符

简短并包含一定的上下文信息。例如 schema、task 等

不要与标准库同名。例如不要使用 sync 或者 strings

4. 控制流程

线性原理,处理逻辑尽量走直线,避免复杂的嵌套分支。

正常流程代码沿着屏幕向下移动。

提升代码可维护性和可读性。

故障问题大多出现在复杂的条件语句和循环语句中。

5. 错误异常处理

  • 简单错误处理

优先使用 errors.New 来创建匿名变量来直接表示该错误。有格式化需求时使用 fmt.Errorf

  • 错误的 Wrap 和 Unwrap

在 fmt.Errorf 中使用 %w 关键字来将一个错误 wrap 至其错误链中

  • 错误判定

使用 errors.Is 可以判定错误链上的所有错误是否含有特定的错误。

在错误链上获取特定种类的错误,使用 errors.As

  • panic

不建议在业务代码中使用 panic

如果当前 goroutine 中所有 deferred 函数都不包含 recover 就会造成整个程序崩溃

当程序启动阶段发生不可逆转的错误时,可以在 init 或 main 函数中使用 panic

  • recover

recover 只能在被 defer 的函数中使用,嵌套无法生效,只在当前 goroutine 生效

如果需要更多的上下文信息,可以 recover 后在 log 中记录当前的调用栈。

  • 总结:

error 尽可能提供简明的上下文信息链,方便定位问题。

panic 用于真正异常的情况。

recover 生效范围,在当前 goroutine 的被 defer 的函数中生效。

6. 性能优化建议

  • slice 预分配内存
    • 在尽可能的情况下,在使用 make() 初始化切片时提供容量信息,特别是在追加切片时

    • 原理:

      • 切片本质是一个数组片段的描述,包括了数组的指针,这个片段的长度和容量(不改变内存分配情况下的最大长度)

      • 切片操作并不复制切片指向的元素,创建一个新的切片会复用原来切片的底层数组,因此切片操作是非常高效的

      • 切片有三个属性,指针(ptr)、长度(len) 和容量(cap)。append 时有两种场景:

        • 当 append 之后的长度小于等于 cap,将会直接利用原底层数组剩余的空间
        • 当 append 后的长度大于 cap 时,则会分配一块更大的区域来容纳新的底层数组
      • 因此,为了避免内存发生拷贝,如果能够知道最终的切片的大小,预先设置 cap 的值能够获得最好的性能

    • 另一个陷阱:大内存得不到释放

      • 在已有切片的基础上进行切片,不会创建新的底层数组。因为原来的底层数组没有发生变化,内存会一直占用,直到没有变量引用该数组
      • 因此很可能出现这么一种情况,原切片由大量的元素构成,但是我们在原切片的基础上切片,虽然只使用了很小一段,但底层数组在内存中仍然占据了大量空间,得不到释放
      • 推荐的做法,使用 copy 替代 re-slice
  • map 预分配内存
    • 原理:

      • 不断向 map 中添加元素的操作会触发 map 的扩容
      • 根据实际需求提前预估好需要的空间
      • 提前分配好空间可以减少内存拷贝和 Rehash 的消耗
  • 使用 strings.Builder
    • 常见的字符串拼接方式:

      • strings.Builder
      • bytes.Buffer
    • strings.Builder 最快,bytes.Buffer 较快,+ 最慢

    • 原理:

      • 字符串在 Go 语言中是不可变类型,占用内存大小是固定的,当使用 + 拼接 2 个字符串时,生成一个新的字符串,那么就需要开辟一段新的空间,新空间的大小是原来两个字符串的大小之和
      • strings.Builder,bytes.Buffer 的内存是以倍数申请的
      • strings.Builder 和 bytes.Buffer 底层都是 []byte 数组,bytes.Buffer 转化为字符串时重新申请了一块空间,存放生成的字符串变量,而 strings.Builder 直接将底层的 []byte 转换成了字符串类型返回
  • 使用空结构体节省内存
    • 空结构体不占据内存空间,可作为占位符使用

    • 比如实现简单的 Set

      • Go 语言标准库没有提供 Set 的实现,通常使用 map 来代替。对于集合场景,只需要用到 map 的键而不需要值
  • 使用 atomic 包
    • 原理:

      • 锁的实现是通过操作系统来实现,属于系统调用,atomic 操作是通过硬件实现的,效率比锁高很多
      • sync.Mutex 应该用来保护一段逻辑,不仅仅用于保护一个变量
      • 对于非数值系列,可以使用 atomic.Value,atomic.Value 能承载一个 interface{}

二、性能调优实战。

1.性能调优原则:

  • 要依靠数据不是猜测
  • 要定位最大瓶颈而不是细枝末节
  • 不要过早优化
  • 不要过度优化

2.性能分析工具:

性能调优的核心是性能瓶颈的分析,对于 Go 应用程序,最方便的就是 pprof 工具

pprof 功能说明:

  • pprof 是用于可视化和分析性能分析数据的工具
  • 可以知道应用在什么地方耗费了多少 CPU、memory 等运行指标

pprof 的采样过程和原理:

  • CPU 采样
  • 堆内存采样
  • 协程和系统线程采样
  • 阻塞操作和锁竞争采样

3.性能调优案例:

  • 基本概念:
    • 服务:能单独部署,承载一定功能的程序
    • 依赖:Service A 的功能实现依赖 Service B 的响应结果,称为 Service A 依赖 Service B
    • 调用链路:能支持一个接口请求的相关服务集合及其相互之间的依赖关系
    • 基础库:公共的工具包、中间件
  • 业务优化
    • 流程:

      • 建立服务性能评估手段
      • 分析性能数据,定位性能瓶颈
      • 重点优化项改造
      • 优化效果验证
    • 建立压测评估链路

      • 服务性能评估
      • 构造请求流量
      • 压测范围
      • 性能数据采集
    • 分析性能火焰图,定位性能瓶颈

      • pprof 火焰图
    • 重点优化项分析:

      • 规范组件库使用
      • 高并发场景优化
      • 增加代码检查规则避免增量劣化出现
      • 优化正确性验证
    • 上线验证评估

      • 逐步放量,避免出现问题
    • 进一步优化,服务整体链路分析:

      • 规范上游服务调用接口,明确场景需求
      • 分析业务流程,通过业务流程优化提升服务性能
  • 基础库优化
    • 适应范围更广,覆盖更多服务

    • AB 实验 SDK 的优化:

      • 分析基础库核心逻辑和性能瓶颈
      • 完善改造方案,按需获取,序列化协议优化
      • 内部压测验证
      • 推广业务服务落地验证
  • Go 语言优化
    • 适应范围最广,Go 服务都有收益

    • 优化方式:

      • 优化内存分配策略
      • 优化代码编译流程,生成更高效的程序
      • 内部压测验证
      • 推广业务服务落地验证
    • 优点:

      • 接入简单,只需要调整编译配置
      • 通用性强

总结:

有许多工具和方法可以自动化检测代码规范和性能优化建议。以下是一些常用的方法:

  1. 静态代码分析工具:这些工具可以自动扫描代码,并检测潜在的代码质量问题,包括编码规范和性能问题。一些流行的静态代码分析工具包括SonarQube、PMD、Checkstyle、FindBugs等。
  2. 集成开发环境(IDE)插件:许多IDE都提供了插件,可以自动化检测代码规范和性能问题。例如,Eclipse和IntelliJ IDEA都有许多插件可以检测代码质量。
  3. 持续集成/持续部署(CI/CD)工具:CI/CD工具可以在每次代码提交或构建时自动化运行测试和代码质量检查。一些流行的CI/CD工具包括Jenkins、Travis CI、CircleCI等。

对于性能陷阱和优化手段:

  1. Goroutine泄露:如果创建了大量的Goroutine而没有正确地释放它们,会导致内存泄漏。为了避免这种情况,应该使用sync.WaitGroup等机制来确保Goroutine正确地结束。
  2. 阻塞IO操作:在Goroutine中执行IO操作时,如果IO操作是阻塞的,会导致其他Goroutine被挂起。为了避免这种情况,可以使用bufio包提供的缓冲IO机制,或者使用netpoller包提供的网络IO多路复用机制。
  3. 内存分配和垃圾回收:过多的内存分配和垃圾回收也会影响性能。通过避免不必要的内存分配,合理地使用缓存,以及优化垃圾回收器,可以减少这些开销。
  4. CPU密集型任务:如果任务是CPU密集型的,使用多个Goroutine可能会导致上下文切换的开销大于实际计算的时间。例如,使用哈希表而不是线性搜索,使用缓存来避免重复计算等。
  5. 使用性能分析工具:使用Go的性能分析工具(如Go pprof)可以帮助识别程序中的瓶颈和优化点。