高质量编程与性能调优实践(5 6 7 8) | 豆包MarsCode AI刷题

高质量编程与性能调优实践 | 豆包MarsCode AI刷题

课程目录

高质量辩证简介及编码规范

性能优化指南

性能优化分析工具

性能调优实战案例

高质量辩证简介及编码规范

你将获得什么？

• 如何编写更简洁清晰的代码
• 常用Go语言程序优化手段
• 熟悉Go程序性能分析工具
• 了解工程中性能优化的原则和流程

目录

• 高质量编程
• 性能调优实战

高质量编程

学校平时都是解决一些算法的问题，实际也是对性能优化的极致追求

精确定位性能瓶颈最大的地方，去解决

什么是高质量编程？

编写的代码能够达到正确可靠，简洁清晰的目标可称之为高质量代码

• 各种边界条件是否考虑完备
• 异常情况处理，稳定性保证
• 易读易维护

后续调整新增功能能够快速进行改动

读明白代码才能放心重构

编程原则：

实际应用场景千变万化，各种语言的特性和语法各不相同，但是高质量编程的原则是相通的

• 简单性

  • 消除多余的复杂性，以简单星系的逻辑编写代码
  • 不理解的代码无法修复改进

• 可读性

  • 代码是写给人看的，而不是机器
  • 编写可维护的代码的第一步是确保代码可读

• 生产力

  • 团队整体工作效率非常重要、

比方说统一团队的代码风格，提高整体的代码质量

如何编写高质量的Go代码？

• 代码格式
• 注释
• 命名规范
• 控制流程
• 错误和异常处理

编码规范：注释

公共符号始终要注释

• 包中生命的每个公共的符号：变量，倡廉，函数以及结构都需要添加注释
• 任何既不明显也不简短的公共功能必须予以注释
• 无论长度或复杂程度如何，对库中的任何函数都必须进行注释

公共符号始终要注释 有一个例外，不需要注释实现接口的方法

注释应该做的：

• 注释应该解释代码作用

  • 公共的常量变量还有对外暴露的函数
  • 假定说可以从函数名直接判断出是什么，可以不用注释函数作用

• 注释应该解释代码如何做的

  • 注释实现过程
  • 如果太简单，或者相当简短，可能需要思考一下

• 注释应该解释代码实现的原因

  • 适合解释代码的外部因素，提供额外上下文
  • 比方说调用了外部的api

• 注释应该解释代码什么情况下会出错

  • 适合解释代码的限制条件
  • 调用这个方法的时候应该符合什么样的条件

代码实际就是最好的注释

代码是实际去执行的逻辑，有可能代码与注释会有冲突

只是应该提供代码未表达的上下文信息

编码规范：代码格式

推荐使用gofmt自动格式化编码

还有一个goimports，也是Go语言官方提供的工具，实际等同于gofmt加上依赖包管理，自动增删改查依赖的包引用，将依赖包按字母序排序并分类

编码规范：命名规范

简介胜于冗长

缩略词全大写，但当其位于变量开头且不需要导出时，使用全小写

• 例如使用ServeHTTP而不是ServeHttp
• 使用XMLHTTPRequest或者xmlHTTPRequest

变量距离其被使用的地方越远，则需要携带越多的上下文信息

• 全局变量在其名字中需要更多的上下文信息，使得在不同地方可以轻易辨认出其含义

比方说i与index，作用域范围仅限于for循环内部，显然简短的i更加合适。index的额外冗长并没有增加对程序的理解

函数参数示例：用t替换deadline，用t也就是time的简写来代指任意的时间信息

如果是外部的暴露的函数，使用deadline也许更好，如果只是简单的内部使用参数，使用t

函数名不携带包名的上下文信息，因为包名和函数名总是成对出现的

函数名尽量简短

当名为foo的包某个函数返回类型Foo时，可以省略类型信息而不导致歧义

当名为foo的包某个函数返回类型T时，可以在函数名加入类型信息

包的命名：

• 只由小写字母组成，不包含大写字母和下划线等字符
• 简短并包含一定的上下文信息，例如schema，task等
• 不要与标准库同名，例如不要使用sync或者strings
• 不使用常用变量名作为包名，例如使用bufio而不是buf
• 使用单数而不是复数，例如使用encoding而不是encodings
• 谨慎的使用缩写，例如使用fmt在不破坏上下文的情况下比format更加简短

核心目标是降低阅读理解代码的成本

重点考虑上下文信息，设计简洁清晰的名称

好的命名就像一个好笑话，如果你必须解释他，那他就不好笑了

编码规范：控制流程

• 避免嵌套，保证正常流程信息

  • 如果两个分支中都包含return语句，则可以去除冗余的else

• 尽量保持正常代码路径为最小缩进

  • 优先处理错误情况/特殊情况，尽早返回或继续循环来减少嵌套

    • 最常见的正常流程的路径被嵌套在两个if条件内
    • 成功的退出条件是return nil，必须仔细匹配大括号才能来发现
    • 函数最后一行返回一个错误，需要追溯到匹配的左括号，才能了解何时会触发错误
    • 如果后续正常流程需要增加一步操作，调用新的函数，则又会增加一层嵌套
    • 所以我们可以把判断的逻辑掏出来做成函数，然后保证主函数的逻辑的清晰可读

• 线性原理，处理逻辑尽量走直线，避免复杂的嵌套分支
• 正常流程代码沿着屏幕向下移动
• 提升代码可维护性和可读性
• 故障问题大多出现在复杂的条件语句和循环语句中

编码规范：错误和异常处理

简单错误：

• 简单的错误指的是仅仅出现一次的错误，且在其他地方不需要捕获该错误
• 优先使用errors.New来创建匿名变量来直接表示简单错误
• 如果有格式化的需求，使用fmt.Errorf

复杂错误处理：

• 错误的Wrap和Unwrap

  • 错误的Wrap实际上是提供了一个error嵌套另一个error的能力，从而生成一个error的跟踪链
  • 在fmt.Errorf中使用 %w 关键字来将一个错误关联至错误链中

错误判定：

• 判定一个错误是否为特定错误，使用errors.Is
• 不同于使用==，使用该方法可以判定错误链上的所有错误是否含有特定的错误
• 在错误脸上获取特定种类的错误，使用errors.As

性能优化指南

性能优化的前提是满足正确可靠，简洁清晰等质量因素

性能优化是综合评估，有时候时间效率和空间效率可能对立

针对Go语言特性，介绍Go相关的性能优化建议

性能优化建议：benchmark

性能表现需要实际数据衡量，Go语言提供了支持基准性能测试的benchmark工具

可以直接凭借命令去得到实际的执行结果，第一项知晓测试的函数名，第二项知晓方法实际测试了多少次，第三列指示每次执行花费的时间，第四列指示每次执行申请多大的内存，第五列指示每次执行申请几次内存

性能优化建议：slice

slice是我们go语言常用的结构。第一点的作用实在初始化的时候提供容量信息，换句话说作用就是预分配内存

• 切片本质是一个数组片段的描述

  • 包括数组指针
  • 片段的长度
  • 片段的容量(不改变内存分配情况下的最大长度)

• 切片操作并不复制切片指向的元素

• 创建一个新的切片会复用原来切片的底层数组

另一个陷阱：大内存未释放

• 在已有切片基础上创建切片，不会创建新的底层数组

• 场景：

  • 原切片较大，代码在原切片基础上新建小切片
  • 原底层数组在内存中有引用，得不到释放

• 可使用copy替代re-slice

性能优化建议：map

map预分配内存

• 不断向map中添加元素的操作会触发map的扩容
• 提前分配好空间可以减少内存拷贝和Rehash的消耗
• 建议根据实际需求提前预估好需要的空间

性能优化建议：字符串处理

• 使用string.Builder，bytes.Buffer或string.Buffer

  • 使用+拼接性能最差，string.Buffer最快，其余两者相近
  • 字符串在Go语言中是不可变类型，占用内存大小固定
  • 使用+每次都会重新分配内存
  • string.Builder， bytes.Buffer底层都是[]byte数组
  • 内存扩容策略，不需要每次拼接重新分配内存
  • bytes.Buffer转化为字符串时重新申请了一块空间
  • strings.Builder直接将底层的[]byte转换成了字符串类型返回

性能优化建议：空结构体

使用空结构体节省内存

• 空结构体实例不占据任何的内存空间

• 可作为各种场景下的占位符使用

  • 节省资源
  • 孔结构体本身具备很强的语义，即这里不需要任何值，仅作为占位符

• 实现set，可以考虑用map来替代

• 对于这个场景，只需要用到map的键，不需要值

• 即使是将map的值设置为bool类型，也会多占据1个字节空间

性能优化建议：atomic包

• 锁的视线是通过操作系统来实现，属于系统调用
• atomic操作时通过硬件实现，效率比锁高
• sync.Mutex应该用来保护一段逻辑，不仅仅用于保护一个变量
• 对于非数值操作，可以用atomic.Value，能承载一个interface{}

小结：

• 避免常见的性能陷阱可以保证大部分程序的性能
• 普通应用代码，不要一味地追求程序的性能
• 越高级的性能优化手段越容易出问题
• 在满足正确可靠，简洁清晰的质量要求的前提下提高程序性能

性能优化分析工具

性能调优原则：

• 要依靠数据不是猜测
• 要定位最大瓶颈而不是细枝末节
• 不要过早优化
• 不要过度优化

性能分析工具 pprof

• 希望知道应用在什么地方耗费了多少CPU，Memory
• pprof是用于可视化和分析性能分析数据的工具

pporf功能简介

• 分析

  • 网页
  • 可视化终端

• 展示

  • Top
  • 调用图
  • 火焰图
  • Peek
  • 源码
  • 反汇编

• 工具

  • runtime/pprof
  • net/http/pprof

• 采样

  • CPU
  • 堆内存
  • 协程
  • 锁
  • 阻塞
  • 线程创建

pprof排查实战

https://github.com/wolfogre/go-pprof-practice

项目提前埋入一些炸弹代码，产生可观测的性能问题

可以在浏览器查看指标，直接把数据平铺在界面上，实际上应该使用view之类的工具结合来看

接下来就是一堆命令与他们的用法

性能调优实战案例

pprof采样过程和原理

CPU：

• 采样对象，函数调用和他们占用的时间
• 采样率，100次每秒
• 采样时间，从手动开始到手动结束

1. 开始采样
2. 设定信号处理函数
3. 开启定时器
4. 停止采样
5. 取消信号处理函数
6. 关闭定时器

• 操作系统，每10ms向进程发送一次SIGPROF信号
• 进程，每次就收到SIGPROF会记录调用堆栈
• 写缓冲，每100ms读取已经记录的调用栈并写入输出流

Heap堆内存：

• 采样程序通过内存分配器在堆上分配和释放的内存，记录分配/释放的大小和数量
• 采样率，每分配512KB记录一次，可在运行开头修改，1为每次分配均记录
• 采样时间，从程序运行开始到采样时
• 采样指标：zlloc_space，alloc_objects，inuse_space，inuse_objects
• 计算方式，inuse = alloc - free

Goroutine-协程 & ThreadCreate-线程创建：

• Goroutine：记录所有用户发起且在运行中的goroutine，集入口非runtime开头的，runtime.main的调用栈信息
• ThreadCreate：记录程序创建的所有系统线程的信息

Block-阻塞 & Mutex-锁

• 阻塞操作

  • 采样阻塞操作的次数和耗时
  • 采样率，阻塞耗时超过阈值的才会被记录，1为每次阻塞均记录

• 锁竞争

  • 采样争抢锁的次数和耗时
  • 采样率，只记录固定比例的锁操作，1为每次加锁均记录

性能调优案例

介绍实际业务服务性能优化的案例

对逻辑相对复杂的程序如何进行性能调优

• 业务服务优化
• 基础库优化
• Go语言优化

性能调优案例-业务服务优化

基本概念

• 服务：能单独部署，承载一定功能的程序
• 依赖：Service A的功能实现依赖Service B的响应结果，称为Service A依赖Service B
• 调用链路：能支持一个接口请求的相关服务集合及其相互之间的依赖关系
• 基础库：公共的工具包、中间件

流程

• 建立服务性能评估手段
• 分析性能数据，定位性能瓶颈
• 重点优化项改造
• 优化效果验证

建立服务性能评估手段

• 服务性能评估方式

  • 单独benchmark无法满足复杂逻辑分析
  • 不同负载情况下性能表现差异

• 请求流量构造

  • 不同请求参数覆盖逻辑不同
  • 线上真实流量情况

• 压测范围

  • 单机器压测
  • 集群压测

• 性能数据采集

  • 单机性能数据
  • 集群性能数据

分析性能数据

• 使用库不规范
• 高并发场景优化不足

重点项优化改造

• 正确性是基础

• 相应数据diff

  • 线上请求数据录制回放
  • 新旧逻辑接口数据diff

优化效果验证

• 重复压测验证

• 上线评估优化效果

  • 关注服务监控
  • 逐步放量
  • 收集性能数据

• 进一步优化，服务整体链路分析

  • 规范上游服务调用接口，明确场景需求
  • 分析链路，通过业务流程优化提升服务性能

性能调优案例-基础库优化

AB实验SDK的优化

• 分析基础库核心逻辑和性能瓶颈

  • 设计完善改造方案
  • 数据按需获取
  • 数据序列化协议优化

• 内部压测验证

• 推广业务服务落地验证

性能调优案例-Go语言优化

编译器&运行时优化

• 优化内存分配策略

• 优化代码编译流程，生成更高效的程序

• 内部压测验证

• 推广业务服务落地验证

• 优点：

  • 介入简单，只需要调整编译配置
  • 通用性强