高质量编程与性能调优篇 | 青训营笔记

溯语sy
58 阅读8分钟

这是我参与「第五届青训营」伴学笔记创作活动的第 3 天。

课堂笔记

一、本堂课重点内容：

  • 高质量编程
  • 性能调优

二、具体案例：

1. 高质量编程

1.1 高质量编程简介

  • 编程原则

    实际应用场景千变万化，各种语言的特性和语法各不相同但是高质量编程遵循的原则是相通的

  • 简单性

    消除“多余的复杂性”，以简单清晰的逻辑编写代码

    不理解的代码无法修复改进

  • 可读性

    代码是写给人看的，而不是机器

    编写可维护代码的第一步是确保代码可读

  • 生产力

    团队整体工作效率非常重要

1.2 编码规范

  • 代码格式

    推荐使用gofmt或者goimports自动格式化代码

  • 注释

    - 注释应该解释代码作用

    适合注释公共符号

    - 注释应该解释代码如何做的

    适合注释实现过程

    - 注释应该解释代码实现的原因

    适合解释代码的外部因素及提供额外上下文

    - 注释应该解释代码什么情况会出错

    适合解释代码的限制条件

  • 命名规范

    variable

    • 简洁胜于冗长

    • 缩略词全大写，但当其位于变量开头且不需要导出时，使用全小写

      例如使用ServeHTTP而不是ServeHttp

      使用XMLHTTPRequest或者xmlHTTPRequest

    • 变量距离其被使用的地方越远，则需要携带越多的上下文信息

      • 全局变量在其名字中需要更多的上下文信息，使得在不同地方可以轻易辨认出其含义

    function

    • 函数名不携带包名的上下文信息，因为包名和函数名总是成对出现的·函数名尽量简短
    • 当名为foo的包某个函数返回类型Foo时，可以省略类型信息而不导致歧义
    • 当名为foo的包某个函数返回类型T时(T并不是Foo)，可以在函数名中加入类型信息

    package

    • 只由小写字母组成。不包含大写字母和下划线等字符

    • 简短并包含一定的上下文信息。例如schema、task 等

    • 不要与标准库同名。例如不要使用sync或者strings

      以下规则尽量满足，以标准库包名为例

    • 不使用常用变量名作为包名。例如使用bufio而不是 buf

    • 使用单数而不是复数。例如使用encoding而不是encodings

    • 谨慎地使用缩写。例如使用fmt在不破坏上下文的情况下比 format 更加简短

    • 控制流程

      • 线性原理，处理逻辑尽量走直线，避免复杂的嵌套分支。
      • 正常流程代码沿着屏幕向下移动
      • 提升代码可维护性和可读性
      • 故障问题大多出现在复杂的条件语句和循环语句中

    • 错误和异常处理

      • error尽可能提供简明的上下文信息链，方便定位问题
      • panic用于真正异常的情况
      • recover生效范围，在当前goroutine的被defer的函数中生效

    • defer语句会在函数返回前调用

    • 多个defer语句是后进先出

1.3 性能优化建议

  • 基准性能测试工具benchamark

  • slice预分配内存尽可能在使用make()

    • 初始化切片时提供容量信息
    • 切片本质是一个数组片段的描述 -包括数组指针 -片段的长度
    • 片段的容量(不改变内存分配情况下的最大长度)
    • 切片操作并不复制切片指向的元素
    • 创建一个新的切片会复用原来切片的底层数组

  • Map 预分配内存

  • 字符串处理使用strings.Builder

    • 使用＋拼接性能最差，strings.Builder，bytes.Buffer 相近，strings.Buffer 更快

  • 使用空结构体节省内存

  • 使用atomic包

    • 锁的实现是通过操作系统来实现，属于系统调用
    • atomic 操作是通过硬件实现，效率比锁高
    • sync.Mutex应该用来保护─段逻辑，不仅仅用于保护一个变量
    • 对于非数值操作，可以使用atomic.Value，能承载一个interface{}

2. 性能调优

2.1 性能调优简介

  • 性能调优原则

    • 要依靠数据不是猜测
    • 要定位最大瓶颈而不是细枝末节
    • 不要过早优化
    • 不要过度优化
2.2 性能分析工具 pprof 实战
  • pprof功能简介

image.png

  • pprof排查实战

image.png

go tool pprof "http://localhost:6060/debug/pprof/profile?seconds=10"

image.png

cpu

命令：topN //用于查看占用资源最多的函数

image.png

表格字段含义

字段含义
flat当前函数本身的执行耗时
flat%flat占CPU总时间的比例
sum%上面每一行的flat%总和
cum指当前函数本身加上其调用函数的总耗时
cum%cum占CPU总时间的比例

image.png

其中Flat与cum有时候相等有时候不等

Flat == Cum，函数中没有调用其他函数

Flat == 0，函数中只有其他函数的调用

命令:list //根据指定的正则表达式查找代码行,找到了实际的代码

image-20230117142710274

命令： web //调用关系可视化，看到tiger方法占用最多，注释对应方法代码，重新运行，查看活动监视器项目看看情况

image.png

Heap堆内存

go tool pprof -http=:8080 "http://localhost:6060/debug/pprof/heap"

goroutine协程

go tool pprof -http=:8080 "http://localhost:6060/debug/pprof/goroutine"

  • 由上到下表示调用顺序
  • 每一块代表一个函数，越长代表占用CPU的时间更长
  • 火焰图是动态的，支持点击块进行分析
  • 支持搜索，在Source视图下搜索wolf

image.png

mutex- 锁

go tool pprof -http=:8080 "http://localhost:6060/debug/pprof/mutex"

block-阻塞

go tool pprof -http=:8080 "http://localhost:6060/debug/pprof/block"

有时候会过滤占比比较小的阻塞，有默认设置的占比值

工具小结

image.png

  • pprof 的采样过程和原理

    cpu

    • 采样对象:函数调用和它们占用的时间
    • 采样率:100次/秒，固定值
    • 采样时间:从手动启动到手动结束

    image.png

    • 操作系统

      • 每10ms向进程发送─次SIGPROF信号

    • 进程

      • 每次接收到SIGPROF会记录调用堆栈。

    • 写缓冲

      • 每100ms读取已经记录的调用栈并写入输出

    image.png

    Heap堆内存

    • 采样程序通过内存分配器在堆上分配和释放的内存，记录分配/释放的大小和数量
    • 采样率:每分配512KB记录一次，可在运行开头修改，1为每次分配均记录
    • 采样时间:从程序运行开始到采样时
    • 采样指标: alloc_space, alloc_objects, inuse_space, inuse_objects
    • 计算方式: inuse = alloc - free

    Goroutine-协程& ThreadCreate-线程创建

    • Goroutine

      • 记录所有用户发起且在运行中的goroutine(即入口非runtime开头的)runtime.main的调用栈信息

    • ThreadCreate

      • 记录程序创建的所有系统线程的信息

    image.png

    Block-阻塞& Mutex-锁

    • 阻塞操作

      • 采样阻塞操作的次数和耗时
      • 采样率:阻塞耗时超过阈值的才会被记录，1为每次阻塞均记录

      image.png

    • 锁竞争

      • 采样争抢锁的次数和耗时
      • 采样率:阻塞耗时超过阈值的才会被记录，1为每次阻塞均记录

      image.png

2.3 性能调优案例

介绍实际业务服务性能优化的案例

对逻辑相对复杂的程序如何进行性能调优

  • 业务服务优化

    流程

    • 建立服务性能评估手段
    • 分析性能数据，定位性能瓶颈
    • 重点优化项改造
    • 优化效果验证

    建立服务性能评估手段

    • 服务性能评估

      • 单独benchmark无法满足复杂逻辑分析
      • 不同负载情况下性能表现差异

    • 请求流量构造

      • 不同请求参数覆盖逻辑
      • 不同线上真实流量情况

    • 压测范围

      • 单机器压测
      • 集群压测

    • 性能数据采集

      • 单机性能数据
      • 集群性能数据

    分析性能数据，定位性能瓶颈

    • 使用库不规范
    • 高并发场景优化不足

    重点优化项改造

    • 正确性是基础

    • 相应数据diff

      • 线上请求数据录制回放
      • 新旧逻辑接口数据diff

    优化效果验证

    • 重复压测验证

    • 上线评估优化效果

      • 关注服务监控
      • 逐步放量
      • 收集性能数据

    • 进一步优化，服务整体链路分析

      • 规范上游服务调用接口，明确场景需求分析链路
      • 通过业务流程优化提升服务性能

  • 基础库优化

    AB实验SDK的优化

    • 分析基础库核心逻辑和性能瓶颈

      • 设计完善改造方案
      • 数据按需获取
      • 数据序列化协议优化

    • 内部压测验证

    • 推广业务服务落地验证

  • Go语言优化

    编译器&运行时优化

    • 优化内存分配策略

    • 优化代码编译流程，生成更高效的程序

    • 内部压测验证

    • 推广业务服务落地验证

    • 优点

      • 接入简单,只需要调整编译配置
      • 通用性强

三、课后个人总结

理论知识有点多，这算是提前熟悉熟悉吧，特别是性能优化那里，有些还没有实现，视频里面并没有详细解释...后续的话时间遇到了再测试测试

avatar
文章
阅读
粉丝