高质量编程与性能调优实战 ｜ 青训营笔记

小桥流水叮冬
55 阅读14分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 3 天

高质量编程与性能调优实战

高质量编程

高质量编程简介

  • 编写的代码能够达到正确可靠、简洁清晰、无性能隐患的目标就能称之为高质量代码
    • 各种边界条件是否考虑完备
    • 异常情况处理，稳定性保证
    • 易读易维护
  • 实际应用场景千变万化，各种语言的特性和语法各不相同，但是高质量编程遵循的原则是相通的
  • 高质量的编程需要注意以下原则：简单性、可读性、生产力
    • 简单性：简单清晰的逻辑
    • 可读性：给人看的
    • 生产力：团队整体工作效率

常见编码规范

代码格式

  • 使用 gofmt 自动格式化代码，保证所有的 Go 代码与官方推荐格式保持一致
    • gofmt：Go语言官方提供的工具，能自动格式化语言代码为官方统一风格，Goland可以直接进行配置
    • goimports：也是官方提供的工具，等于gofmt加上依赖包管理，能够自动增删依赖的包引用、将依赖包按字母序排序并分类
  • 总结：提升可读性，风格一致的代码更容易维护、需要更少的学习成本、团队合作成本，同时可以降低 Review 成本

注释

  • 注释应该解释代码作用
    • 适合注释公共符号，如对外提供的函数
  • 注释应该解释代码如何做的
    • 适合注释方法
  • 注释应该解释代码实现的原因
    • 解释代码的外部因素，提供额外上下文，比如为什么写这段代码
  • 注释应该解释代码什么情况会出错
  • 公共符号始终要注释
    • 包中声明的每个公共的符号：变量、常量、函数以及结构都需要添加注释
    • 任何既不明显也不简短的公共功能必须予以注释
    • 无论长度或复制程度如何，对库中的任何函数都必须进行注释
    • 例外：不需要注释实现方法的接口
  • 总结
    • 代码是最好的注释
    • 注释应该提供代码未表达出的上下文信息

命名规范

  • variable
    • 简洁胜于冗长
    • 缩略词全大写，但当其位于变量开头且不需要导出时，使用全小写，如ServeHTTP，xmlHTTPRequest
    • 变量距离其被使用的地方越远，则需要携带越多的上下文信息
    • 全局变量在其名字中需要更多的上下文信息，使得在不同地方可以轻易辨认出其含义
  • function
    • 函数名不携带包名的上下文信息，因为包名和函数名总是成对出现的
    • 函数名尽量简短
    • 当名为 foo 的包某个函数返回类型 Foo 时，可以省略类型信息而不导致歧义
    • 当名为 foo 的包某个函数返回类型 T 时（T 并不是 Foo），可以在函数名中加入类型信息
  • package
    • 只由小写字母组成。不包含大写字母和下划线等字符
    • 简短并包含一定的上下文信息。例如 schema、task 等
    • 不要与标准库同名。例如不要使用 sync 或者 strings
    • 不使用常用变量名作为包名，例如bufio而非buf
    • 使用单数而不是复数
    • 谨慎使用琐屑，fmt在不破坏上下文情况下比format更简短
  • 总结
    • 关于命名的大多数规范核心在于考虑上下文
    • 人们在阅读理解代码的时候也可以看成是计算机运行程序，好的命名能让人把关注点留在主流程上，清晰地理解程序的功能，避免频繁切换到分支细节，增加理解成本

控制流程

  • 避免嵌套，保持正常流程清晰
  • 如果两个分支中都包含 return 语句，则可以去除冗余的 else
  • 尽量保持正常代码路径为最小缩进，优先处理错误情况/特殊情况，并尽早返回或继续循环来减少嵌套，增加可读性
  • 总结
    • 线性原理，处理逻辑尽量走直线，避免复杂的嵌套分支
    • 正常流程代码沿着屏幕向下移动
    • 提高代码的可读性和可维护性
    • 故障大多出现在复杂的条件语句和循环语句中

错误和异常处理

  • 简单错误处理
    • 简单错误是指仅出现一次的错误，且在其他地方不需要捕获该错误
    • 优先使用 errors.New 来创建匿名变量来直接表示该错误。有格式化需求时使用 fmt.Errorf image.png
  • 错误的 Wrap 和 Unwrap
    • 错误的wrap实际上是提供了一个error嵌套另一个error的能力，从而生成一个error的跟踪链
    • 在 fmt.Errorf 中使用 %w 关键字来将一个错误 wrap 关联至其错误链中
    • 可以用错误的判定方法来确认调用链中是否有关注的错误出现
    • 这个方法的好处是每一层调用方可以补充自己对应的上下文，方便跟踪排查问题 image.png
  • 错误判定
    • 使用 errors.Is 可以判定错误链上的所有错误是否含有特定的错误
    • 在错误链上获取特定种类的错误，使用 errors.As，区别在于As会提取出调用链中指定类型的错误，并将错误赋值给定义好的变量，方便后续处理 image.png
  • panic
    • 不建议在业务代码中使用 panic
    • 如果当前 goroutine 中所有 deferred 函数都不包含 recover 就会造成整个程序崩溃
    • 当程序启动阶段发生不可逆转的错误时，可以在 init 或 main 函数中使用 panic
  • recover
    • recover 只能在被 defer 的函数中使用，嵌套无法生效，只在当前 goroutine 生效
    • 如果需要更多的上下文信息，可以 recover 后在 log 中记录当前的调用栈
    • defer的语句是后进先出
  • 总结
    • panic 用于真正异常的情况
    • error 尽可能提供简明的上下文信息，方便定位问题
    • recover 生效范围，在当前 goroutine 的被 defer 的函数中生效

性能优化建议

  • 在满足正确性、可靠性、健壮性、可读性等质量因素的前提下，设法提高程序的效率
  • 性能优化是综合评估，有时候时间效率和空间效率可能对立
  • Benchmark
    • 性能表现需要实际数据衡量，Go语言提供了支持基准性能测试的benchmark工具
    • 结果说明
      • 8是CPU内核数量

image.png

slice 预分配内存

  • 在尽可能的情况下，在使用 make() 初始化切片时提供容量信息，特别是在追加切片时
  • 原理
    • 切片本质是一个数组片段的描述，包括了数组的指针，这个片段的长度和容量(不改变内存分配情况下的最大长度)
    • 切片操作并不复制切片指向的元素，创建一个新的切片会复用原来切片的底层数组，因此切片操作是非常高效的
  • 切片有三个属性，指针(ptr)、长度(len) 和容量(cap)。append 时有两种场景：
    • 当 append 之后的长度小于等于 cap，将会直接利用原底层数组剩余的空间
    • 当 append 后的长度大于 cap 时，则会分配一块更大的区域来容纳新的底层数组
    • 因此，为了避免内存发生拷贝，如果能够知道最终的切片的大小，预先设置 cap 的值能够获得最好的性能
  • 另一个陷阱：大内存得不到释放
    • 在已有切片的基础上进行切片，不会创建新的底层数组。因为原来的底层数组没有发生变化，内存会一直占用，直到没有变量引用该数组
    • 因此很可能出现这么一种情况，原切片由大量的元素构成，但是我们在原切片的基础上切片，虽然只使用了很小一段，但底层数组在内存中仍然占据了大量空间，得不到释放
    • 推荐的做法，使用 copy 替代 re-slice image.png

map 预分配内存

  • 原理
    • 不断向 map 中添加元素的操作会触发 map 的扩容
    • 根据实际需求提前预估好需要的空间
    • 提前分配好空间可以减少内存拷贝和 Rehash 的消耗

使用 strings.Builder

  • 常见的字符串拼接方式
    • +
    • strings.Builder
    • bytes.Buffer
  • strings.Builder 最快，bytes.Buffer 较快，+ 最慢
  • 原理
    • 字符串在 Go 语言中是不可变类型，占用内存大小是固定的，当使用 + 拼接 2 个字符串时，生成一个新的字符串，那么就需要开辟一段新的空间，新空间的大小是原来两个字符串的大小之和
    • strings.Builder，bytes.Buffer 的内存是以倍数申请的
    • strings.Builder 和 bytes.Buffer 底层都是 []byte 数组，bytes.Buffer 转化为字符串时重新申请了一块空间，存放生成的字符串变量，而 strings.Builder 直接将底层的 []byte 转换成了字符串类型返回
  • 字符串拼接也支持预分配，builder.Grow(n)

使用空结构体节省内存

  • 空结构体不占据内存空间，可作为占位符使用（空间优化的一种方法）
  • 比如实现简单的 Set
    • Go 语言标准库没有提供 Set 的实现，通常使用 map 来代替。对于集合场景，只需要用到 map 的键而不需要值

image.png

使用 atomic 包

  • 原理
    • 锁的实现是通过操作系统来实现，属于系统调用，atomic 操作是通过硬件实现的，效率比锁高很多
    • sync.Mutex 应该用来保护一段逻辑，不仅仅用于保护一个变量
    • 对于非数值系列，可以使用 atomic.Value，atomic.Value 能承载一个 interface{}

image.png

总结

  • 避免常见的性能陷阱可以保证大部分程序的性能
  • 针对普通应用代码，不要一味地追求程序的性能，应当在满足正确可靠、简洁清晰等质量要求的前提下提高程序性能

性能调优实战

性能调优简介

  • 性能调优原则
    • 要依靠数据不是猜测
    • 要定位最大瓶颈而不是细枝末节
    • 不要过早优化
    • 不要过度优化

性能分析工具

  • 性能调优的核心是性能瓶颈的分析，对于 Go 应用程序，最方便的就是 pprof 工具

pprof功能说明

  • pprof 是用于可视化和分析性能分析数据的工具
  • 可以知道应用在什么地方耗费了多少 CPU、memory 等运行指标 image.png

pprof分析案例

  • 前置准备，熟悉简单指标，能够编译运行 pprof 测试项目（提前埋入炸弹代码）
    • 运行项目后，可以通过浏览器打开/debug/pprof这个路径，查看基本的性能统计
  • 相关指标
    • allocs 内存分配情况
    • blocks 阻塞操作情况
    • cmdline 程序启动命令等
    • goroutine 所有goroutine的堆栈信息
    • heap 堆上内存使用情况
    • mutex 锁竞争操作情况
    • profile CPU占用情况
    • threadcreate 系统线程的堆栈信息
    • trace 程序运行跟踪信息
  • 实际分析排查过程
  • 排查 CPU 问题
    • pprof的采样结果是将一段时间内的信息汇总到输出文件中，可以直接使用暴露的接口链接下载文件后使用，如在命令行输入下面的指令启动采样，表示采样CPU 10秒，结束后下载输出文件，然后展示出pprof终端
    • top 命令：在pprof终端输入top，查看CPU占用最高的函数
    • list 命令：该命令后加函数名，可以查找代码，按行展示每一行的占用
    • web命令：生成调用关系图
  • 排查堆内存问题
    • 另一种展示方法：通过-http=:8080参数可以开启pprof自带的Web UI，性能指标以网页形式呈现。然后再次启动pprof工具，等待采样完成后，浏览器会被自动打开
    • go tool pprof -http=:8080 "http://localhost:6060/debug/pprof/heap
    • 堆内存采样的四种指标
      • alloc_objects 程序累计申请的对象数
      • alloc_space 程序累计申请的内存大小
      • inuse_objects 当前持有
      • inuse_space 当前占用
  • 排查协程问题
    • go自带垃圾回收，一般情况下不会发生内存泄露，但是如果协程泄露，进而会导致内存泄露。协程泄露如每过1秒发起无意义的10条goroutine，不断有新的goroutine被启动，对应的内存占用持续增长，CPU调度压力也增大
    • go tool pprof -http=:8080 "http://localhost:6060/debug/pprof/goroutine"
    • 火焰图 view-flame graph
      • 由上到下表示调用顺序，每一块代表一个函数，越长代表占用CPU的时间更长
  • 排查锁问题
  • 排查阻塞问题

pprof采样和原理

  • CPU 采样
    • 采样对象：函数调用和它们占用的时间
    • 采样率：100次/s，固定值
    • 采样时间：从手动启动到手动结束
  • 堆内存采样
    • 采样程序通过内存分配器在堆上分配和释放的内存，记录分配和释放的大小和数量
    • 采样率：每分配512kb记录一次，可在运行开头修改
    • 采样时间：从程序运行开始采样时
    • 计算方式：inuse=alloc-free
  • 协程和系统线程采样
    • 立刻触发的全量记录，可以通过比较两个时间点的差值来得到某一时间段的指标
  • 阻塞操作和锁竞争采样

性能调优案例

  • 程序从不同的应用层次上看可以分为业务服务、基础库和Go语言本身，对应优化的适用范围越来越广

业务服务优化

  • 基本概念
    • 服务：能单独部署，承载一定功能的程序
    • 依赖：Service A 的功能实现依赖 Service B 的响应结果，称为 Service A 依赖 Service B
    • 调用链路：能支持一个接口请求的相关服务集合及其相互之间的依赖关系
    • 基础库：公共的工具包、中间件
  • 流程
    • 建立服务性能评估手段
    • 分析性能数据，定位性能瓶颈
    • 重点优化项改造
    • 优化效果验证
  • 建立服务性能评估手段
    • 服务性能评估方式：单独benchmark无法满足复杂逻辑分析，不同负载情况下性能表现差异
    • 请求流量构造：不同请求参数覆盖逻辑不同，线上真实流量情况
    • 压测范围：单机器压测、集群压测
    • 性能数据采集：单机性能数据、集群性能数据
  • 分析性能火焰图，定位性能瓶颈
    • pprof 火焰图
  • 重点优化项分析
    • 规范组件库使用
    • 高并发场景优化
    • 增加代码检查规则避免增量劣化出现
    • 优化正确性验证
  • 上线验证评估
    • 逐步放量，避免出现问题
  • 进一步优化，服务整体链路分析
    • 规范上游服务调用接口，明确场景需求
    • 分析业务流程，通过业务流程优化提升服务性能

基础库优化

  • 适应范围更广，覆盖更多服务
  • AB 实验 SDK 的优化
    • 分析基础库核心逻辑和性能瓶颈
    • 完善改造方案，按需获取，序列化协议优化
    • 内部压测验证
    • 推广业务服务落地验证

Go语言优化

  • 适应范围最广，Go 服务都有收益
  • 优化方式
    • 优化内存分配策略
    • 优化代码编译流程，生成更高效的程序
    • 内部压测验证
    • 推广业务服务落地验证
avatar
文章
阅读
粉丝