高质量编程与性能调优实战 | 青训营

LouisChenPL
90 阅读14分钟

高质量编程与性能调优实战

1.高质量编程

1.1 什么是高质量编程

编写的代码能够达到正确可靠、简洁清晰的目标可称之为高质量代码

  • 各种边界条件是否考虑完备
  • 异常情况处理，稳定性保证
  • 易读易维护

编程原则

实际应用场景千变万化，各种语言的特性和语法各不相同

但是高质量编程遵循的原则是相通的

简单性

  • 消除“多余的复杂性”，以简单清晰的逻辑编写代码
  • 不理解的代码无法修复改进

可读性

  • 代码是写给人看的，而不是机器
  • 编写可维护代码的第一步是确保代码可读

生产力

  • 团队整体工作效率非常重要

1.2 编码规范

如何编写高质量的Go代码

  • 代码格式
  • 注释
  • 命名规范
  • 控制流程
  • 错误和异常处理

1.2.1 编码规范-代码格式

推荐使用gofmt 自动格式化代码

gofmt

Go语言官方提供的工具，能自动格式化Go语言代码为官方统一风格

常见IDE都支持方便的配置

goimports

也是Go语言官方提供的工具

实际等于gofmt加上依赖包管理

自动增删依赖的包引用、将依赖包按字母序排序并分类

1.2.2 编码规范-注释

公共符号始终要注释

  • 包中声明的每个公共的符号：变量、常量、函数以及结构都需要添加注释
  • 任何既不明显也不简短的公共功能必须予以注释
  • 无论长度或复杂程度如何，对库中的任何函数都必须进行注释
  • 有一个例外，不需要注释实现接口的方法。具体不要像下面这样做

image-20230817183600367.png

注释应该做的

  • 注释应该解释代码作用
  • 注释应该解释代码如何做的
  • 注释应该解释代码实现的原因
  • 注释应该解释代码什么情况会出错

Good code has lots of comments, bad code requires lots of comments 好的代码有很多注释，坏代码需要很多注释

注释应该解释代码作用

  • 适合注释公共符号

image-20230817183826185.png

注释应该解释代码如何做的

  • 适合注释实现过程

image-20230817183907438.png

注释应该解释代码实现的原因

  • 适合解释代码的外部因素
  • 提供额外上下文

image-20230817183958434.png

注释应该解释代码什么情况会出错

  • 适合解释代码的限制条件

image-20230817184035673.png

公共符号始终要注释

  • 对于公共符号都有注释说明
  • 尽管LimitedReader.Read本身没有注释，但它紧跟LimitedReader结构的声明，明确它的作用

image-20230817184146773.png

1.2.3 编码规范-命名规范

variable

  • 简洁胜于冗长
  • 缩略词全大写，但当其位于变量开头且不需要导出时，使用全小写
    • 例如使用ServeHTTP而不是ServeHttp
    • 使用XMLHTTPRequest或者xmIHTTPRequest
  • 变量距离其被使用的地方越远，则需要携带越多的上下文信息
    • 全局变量在其名字中需要更多的上下文信息，使得在不同地方可以轻易辨认出其含义

image-20230817184338100.png

i和index的作用域范围仅限于for循环内部时，index的额外冗长几乎没有增加对于程序的理解

image-20230817184404251.png

  • 将deadline替换成t降低了变量名的信息量
  • t常代指任意时间
  • deadline指截止时间，有特定的含义

function

  • 函数名不携带包名的上下文信息，因为包名和函数名总是成对出现的
  • 函数名尽量简短
  • 当名为foo的包某个函数返回类型Foo时，可以省略类型信息而不导致歧义
  • 当名为foo的包某个函数返回类型T时(T 并不是Foo)，可以在函数名中加入类型信息

package

  • 只由小写字母组成。不包含大写字母和下划线等字符
  • 简短并包含一定的上下文信息。例如schema、task 等
  • 不要与标准库同名。例如不要使用sync或者strings

以下规则尽量满足，以标准库包名为例

  • 不使用常用变量名作为包名。例如使用bufio而不是buf
  • 使用单数而不是复数。例如使用encoding而不是encodings
  • 谨慎地使用缩写。例如使用fmt在不破坏上下文的情况下比format更加简短

小结

  • 核心目标是降低阅读理解代码的成本
  • 重点考虑上下文信息，设计简洁清晰的名称

Good naming is like a good joke. If you have to explain it, it' s not funny

好的命名就像一个好笑话。 如果你必须解释它，那就不好笑了

1.2.4 编码规范-控制流程

避免嵌套，保持正常流程清晰

image-20230817185339782.png

  • 如果两个分支中都包含return语句，则可以去除冗余的else

尽量保持正常代码路径为最小缩进

  • 优先处理错误情况/特殊情况，尽早返回或继续循环来减少嵌套

image-20230817185424761.png

  • 最常见的正常流程的路径被嵌套在两个if条件内
  • 成功的退出条件是return nil，必须仔细匹配大括号来发现
  • 函数最后一行返回一个错误，需要追溯到匹配的左括号，才能了解何时会触发错误
  • 如果后续正常流程需要增加一步操作，调用新的函数，则又会增加一层嵌套

image-20230817185637142.png

小结

  • 线性原理，处理逻辑尽量走直线，避免复杂的嵌套分支
  • 正常流程代码沿着屏幕向下移动
  • 提升代码可维护性和可读性
  • 故障问题大多出现在复杂的条件语句和循环语句中

1.2.5 编码规范-错误和异常处理

简单错误

  • 简单的错误指的是仅出现一次的错误，且在其他地方不需要捕获该错误
  • 优先使用errors.New来创建匿名变量来直接表示简单错误
  • 如果有格式化的需求，使用fmt.Errorf

image-20230817185830014.png

错误的Wrap和Unwrap

  • 错误的Wrap实际上是提供了一个error嵌套另一个error的能力，从而生成一个error的跟踪链
  • 在fmt.Errorf中使用: %w关键字来将一个错误关联至错误链中

image-20230817185939484.png

错误判定

  • 判定一个错误是否为特定错误，使用errors.ls
  • 不同于使用==，使用该方法可以判定错误链上的所有错误是否含有特定的错误

image-20230817190028651.png

  • 在错误链上获取特定种类的错误，使用errors.As

image-20230817190052154.png

panic

  • 不建议在业务代码中使用panic
  • 调用函数不包含recover会造成程序崩溃
  • 若问题可以被屏蔽或解决，建议使用error代替panic
  • 当程序启动阶段发生不可逆转的错误时，可以在init 或main函数中使用panic

recover

  • recover只能在被defer的函数中使用
  • 嵌套无法生效
  • 只在当前goroutine生效
  • defer的语句是后进先出

image-20230817190208777.png

  • 如果需要更多的上下文信息，可以recover后在log中记录当前的调用栈

image-20230817190328950.png

小结

  • error尽可能提供简明的上下文信息链，方便定位问题
  • panic用于真正异常的情况
  • recover生效范围，在当前goroutine的被defer的函数中生效

程序的输出的什么

image-20230817190439479.png

defer语句会在函数返回前调用 多个defer语句是后进先出

最终输出：31

1.3 性能优化

简介

  • 性能优化的前提是满足正确可靠、简洁清晰等质量因素
  • 性能优化是综合评估，有时候时间效率和空间效率可能对立
  • 针对Go语言特性，介绍Go相关的性能优化建议

1.3.1 性能优化建议-Benchmark

如何使用

  • 性能表现需要实际数据衡量
  • Go语言提供了支持基准性能测试的benchmark工具

go test - bench=. -benchmem

image-20230817190628999.png

结果说明

image-20230817190803648.png

BenchmarkFib10是测试函数名，-8表示GOMAXPROCS的值为8

1855870表示一共执行1855870次，即b.N的值

602.5，每次执行花费602.5ns

0 B/op 每次执行申请多大的内存

0 allocs/op 每次执行申请几次内存

1.3.2 性能优化建议-Slice

slice预分配内存

  • 尽可能在使用make()初始化切片时提供容量信息

image-20230817191128198.png

image-20230817191214158.png

  • 切片本质是一个数组片段的描述

    • 包括数组指针
    • 片段的长度
    • 片段的容量(不改变内存分配情况下的最大长度)

  • 切片操作并不复制切片指向的元素

  • 创建一个新的切片会复用原来切片的底层数组

另一个陷阱：大内存未释放

  • 在已有切片基础上创建切片，不会创建新的底层数组
  • 场景
    • 原切片较大，代码在原切片基础上新建小切片
    • 原底层数组在内存中有引用，得不到释放
  • 可使用copy替代re-slice

1.3.3 性能优化建议-Map

map预分配内存

image-20230817191838861.png

  • 不断向map中添加元素的操作会触发map的扩容
  • 提前分配好空间可以减少内存拷贝和Rehash的消耗
  • 建议根据实际需求提前预估好需要的空间

1.3.4 性能优化建议-字符串处理

使用strings.Builder

  • 常见的字符串拼接方式

image-20230817192258470.png

image-20230817192318420.png

image-20230817192331140.png

  • 使用+拼接性能最差，strings.Builder, bytes.Buffer 相近，strings.Buffer 更快

  • 分析

    • 字符串在Go语言中是不可变类型，占用内存大小是固定的

    • 使用+每次都会重新分配内存

    • strings.Builder, bytes.Buffer 底层都是[]byte数组

    • 内存扩容策略，不需要每次拼接重新分配内存

  • bytes.Buffer转化为字符串时重新申请了一块空间

  • strings.Builder直接将底层的[]byte转换成了字符串类型返回

1.3.5 性能优化建议-空结构体

使用空结构体节省内存

  • 空结构体struct{}实例不占据任何的内存空间
  • 可作为各种场景下的占位符使用
    • 节省资源
    • 空结构体本身具备很强的语义，即这里不需要任何值，仅作为占位符

image-20230817192544640.png

  • 实现Set，可以考虑用map来代替
  • 对于这个场景，只需要用到map的键，而不需要值
  • 即使是将map的值设置为bool类型，也会多占据1个字节空间

1.3.6 性能优化建议-atomic包

使用atomic包

image-20230817192818392.png

  • 锁的实现是通过操作系统来实现，属于系统调用
  • atomic操作是通过硬件实现，效率比锁高
  • sync.Mutex应该用来保护一段逻辑，不仅仅用于保护一个变量
  • 对于非数值操作，可以使用atomic.Value,能承载一个interface{}

1.3.7 总结

  • 避免常见的性能陷阱可以保证大部分程序的性能
  • 普通应用代码，不要一味地追求程序的性能
  • 越高级的性能优化手段越容易出现问题
  • 在满足正确可靠、简洁清晰的质量要求的前提下提高程序性能

2.性能优化实战

2.1 简介

性能调优原则

  • 要依靠数据不是猜测
  • 要定位最大瓶颈而不是细枝末节
  • 不要过早优化
  • 不要过度优化

2.2 性能分析工具 pprof

  • 希望知道应用在什么地方耗费了多少CPU、Memory
  • pprof是用于可视化和分析性能分析数据的工具

2.2.1 性能分析工具 pprof-功能简介

image-20230817192920907.png

2.2.2 性能分析工具 pprof-排查实战

搭建pprof实践项目

  • GitHub (来自Wolfogre )
  • https:/ /github.com/wolfogre/ go-pprof- practice
  • 项目提前埋入了一些炸弹代码，产生可观测的性能问题

浏览器查看指标

image-20230817202930621.png

CPU

image-20230817202945970.png

image-20230817203005724.png

  • 命令: topN
  • 查看占用资源最多的函数

image-20230817203153260.png

flat 当前函数本身的执行耗时 flat% flat占CPU总时间的比例 sum% 上面每一行的flat%总和 cum 指当前函数本身加.上其调用函数的总耗时 cum% cum占CPU总时间的比例

  • Flat == Cum，函数中没有调用其他函数

  • Flat == 0，函数中只有其他函数的调用

  • 命令: list

  • 根据指定的正则表达式查找代码行

image-20230817203324405.png

  • 命令: web
  • 调用关系可视化

image-20230817203347129.png

Heap——堆内存

image-20230817203451323.png

go tool pprof -http=:8080 "http://localhost:6060/debug/pprof/heap"

image-20230817203554943.png

goroutine——协程

  • goroutine泄露也会导致内存泄露

go tool pprof -http=:8080 "http://localhost:6060/debug/pprof/goroutine"

  • 由上到下表示调用顺序
  • 每一块代表一个函数，越长代表占用CPU的时间更长
  • 火焰图是动态的，支持点击块进行分析

image-20230817203746092.png

  • 支持搜索，在Source视图下搜索wolf

mutex锁 block——阻塞

2.2.3 性能分析工具 pprof-采样过程和原理

CPU

  • 采样对象：函数调用和它们占用的时间
  • 采样率：100次/秒，固定值
  • 采样时间：从手动启动到手动结束

image-20230817204442441.png

  • 操作系统
    • 每10ms向进程发送-次SIGPROF信号
  • 进程
    • 每次接收到SIGPROF会记录调用堆栈
  • 写缓冲
    • 每100ms读取已经记录的调用栈并写入输出流

Heap——堆内存

  • 采样程序通过内存分配器在堆上分配和释放的内存，记录分配/释放的大小和数量
  • 采样率:每分配512KB记录一次， 可在运行开头修改，1为每次分配均记录
  • 采样时间:从程序运行开始到采样时
  • 采样指标: alloc_ space, alloc_ objects, inuse_ space, inuse_ _objects
  • 计算方式: inuse = alloc - free

Goroutine-协程& ThreadCreate-线程创建

  • Goroutine

    • 记录所有用户发起且在运行中的goroutine (即入口非runtime开头的)runtime.main的调用栈信息

  • ThreadCreate

    • 记录程序创建的所有系统线程的信息

image-20230817205218721.png

BIock-阻塞 & Mutex-锁

  • 阻塞操作

    • 采样阻塞操作的次数和耗时
    • 采样率：阻塞耗时超过阈值的才会被记录，1为每次阻塞均记录

  • 锁竞争

  • 采样争抢锁的次数和耗时

  • 采样率:只记录固定比例的锁操作，1为每次加锁均记录

image-20230817205358661.png

2.3 性能调优案例

  • 介绍实际业务服务性能优化的案例
  • 对逻辑相对复杂的程序如何进行性能调优

2.3.1 性能调优案例-业务服务优化

基本概念

  • 服务:能单独部署，承载一定功能的程序
  • 依赖: Service A的功能实现依赖Service B的响应结果，称为Service A依赖Service B
  • 调用链路:能支持一个接口请求的相关服务集合及其相互之间的依赖关系
  • 基础库:公共的工具包、中间件

流程

  • 建立服务性能评估手段
  • 分析性能数据，定位性能瓶颈
  • 重点优化项改造
  • 优化效果验证

建立服务性能评估手段

  • 服务性能评估方式

    • 单独benchmark无法满足复杂逻辑分析
    • 不同负载情况下性能表现差异

  • 请求流量构造

    • 不同请求参数覆盖逻辑不同
    • 线上真实流量情况

  • 压测范围

    • 单机器压测
    • 集群压测

  • 性能数据采集

    • 单机性能数据
    • 集群性能数据

分析性能数据，定位性能瓶颈

  • 使用库不规范
  • 高并发场景优化不足

重点优化项改造

  • 正确性是基础
  • 响应数据diff
    • 线上请求数据录制回放
    • 新旧逻辑接口数据diff

优化效果验证

  • 重复压测验证
  • 上线评估优化效果
    • 关注服务监控
    • 逐步放量
    • 收集性能数据

进一步优化，服务整体链路分析

  • 规范上游服务调用接口，明确场景需求
  • 分析链路，通过业务流程优化提升服务性能

2.3.2性能调优案例-基础库优化

AB实验SDK的优化

  • 分析基础库核心逻辑和性能瓶颈
    • 设计完善改造方案
    • 数据按需获取
    • 数据序列化协议优化
  • 内部压测验证
  • 推广业务服务落地验证

2.3.3 性能调优案例-Go语言优化

编译器&运行时优化

  • 优化内存分配策略
  • 优化代码编译流程，生成更高效的程序
  • 内部压测验证
  • 推广业务服务落地验证
  • 优点
    • 接入简单，只需要调整编译配置
    • 通用性强

image-20230817210026573.png

2.4 总结

  • 性能调优原则
    • 要依靠数据不是猜测
  • 性能分析工具pprof
    • 熟练使用pprof工具排查性能问题并了解其基本原理
  • 性能调优
    • 保证正确性
    • 定位主要瓶颈
avatar
文章
阅读
粉丝