高质量编程与性能优化 | 青训营笔记

小小浩
100 阅读10分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 4 天

1、高质量编程

什么是高质量编程？

一句话：编写的代码能够达到正确可靠、简介清晰的目标

具体考虑以下几方面

  • 各种边界条件是否考虑完备
  • 异常情况处理，稳定性保证
  • 易读易维护

编程原则

简单性

  • 消除“多余的复杂性”，以简单清晰的逻辑编写代码，负责的程序会让人害怕重构和优化，因为无法明确预支调整的影响范围

可读性

  • 代码是写给人看的
  • 编写可维护代码的第一步是确保代码可读

生产力

  • 团队整体工作效率非常重要

编码规范

代码格式

推荐使用gofmt自动格式化代码

gofmt：go语言官方提供的工具，能自动格式化go语言代码为官方统一风格

goimports（另外一种）也是go官方语言提供的工具，实际上相当于gofmt加上依赖包管理，可以自动增删依赖的引用，将依赖包按照字母排序并分类。

注释

注释应该解释代码作用

  • 适合注释公共符号

image.png

注释应该解释代码如何做的

  • 适合注释方法 image.png

注释应该解释代码实现的原因

  • 解释代码的外部因素,这些因素脱离上下文之后很难理解，例如下面的这条语句，如果没有注释很难理解为什么要设置为false，所以加了注释。

image.png

公共符号始终要注释

  • 包中声明的每个公共的符号：变量、常量、函数以及结构都需要添加注释

image.png、

注释应该解释函数什么时候会出错

image.png

一个例外

不要注释实现接口的方法

image.png

命名规范

  • variable

    • 简洁胜于冗长
    • 缩略词全大写，但当其位于变量开头且不需要导出时，使用全小写
    • 变量距离其被使用的地方越远，则需要携带越多的上下文信息
    • 全局变量在其名字中需要更多的上下文信息，使得在不同地方可以轻易辨认出其含义

image.png

  • function

    • 函数名不携带包名的上下文信息，因为包名和函数名总是成对出现的
    • 函数名尽量简短
    • 当名为 foo 的包某个函数返回类型 Foo 时，可以省略类型信息而不导致歧义
    • 当名为 foo 的包某个函数返回类型 T 时（T 并不是 Foo），可以在函数名中加入类型信息

image.png

  • package

    • 只由小写字母组成。不包含大写字母和下划线等字符

    • 简短并包含一定的上下文信息。例如 schema、task 等

    • 不要与标准库同名。例如不要使用 sync 或者 strings

image.png

控制流程

  • 避免嵌套，保持正常流程清晰
  • 如果两个分支中都包含 return 语句，则可以去除冗余的 else

image.png

尽量保持正常代码路径为最小缩进，优先处理错误情况/特殊情况，并尽早返回或继续循环来减少嵌套，增加可读性

image.png

image.png

总结

  • 线性原理，处理逻辑尽量走直线，避免复杂的嵌套分支
  • 提高代码的可读性

错误和异常处理

简单错误处理 image.png

image.png

错误的wrap和unwrap

image.png

image.png

错误判断

image.png

image.png

在错误链上获取特定种类的错误，使用errors.AS

image.png

panic

  • 不建议在业务代码中使用 panic
  • 如果当前 goroutine 中所有 deferred 函数都不包含 recover 就会造成整个程序崩溃
  • 当程序启动阶段发生不可逆转的错误时，可以在 init 或 main 函数中使用 panic
  • 若问题可以被解决，建议使用error代替panic

recover

  • recover 只能在被 defer 的函数中使用，嵌套无法生效，只在当前 goroutine 生效、

  • 如果需要更多的上下文信息，可以 recover 后在 log 中记录当前的调用栈。

总结

  • panic 用于真正异常的情况
  • error 尽可能提供简明的上下文信息，方便定位问题
  • recover 生效范围，在当前 goroutine 的被 defer 的函数中生效

Go语言宕机恢复（recover）——防止程序崩溃 (biancheng.net)

性能优化建议

  • 在满足正确性、可靠性、健壮性、可读性等质量因素的前提下，设法提高程序的效率

Benchmark

性能表现需要实际数据来衡量，go语言提供了支持基准测试的benchmark工具

go test -bench=. -benchmem

image.png

slice 预分配内存

  • 在尽可能的情况下，在使用 make() 初始化切片时提供容量信息，特别是在追加切片时

    • 原理

    • ueokande.github.io/go-slice-tr…

    • 切片本质是一个数组片段的描述，包括了数组的指针，这个片段的长度和容量(不改变内存分配情况下的最大长度)

    • 切片操作并不复制切片指向的元素，创建一个新的切片会复用原来切片的底层数组，因此切片操作是非常高效的

    • 切片有三个属性，指针(ptr)、长度(len) 和容量(cap)。append 时有两种场景：

      • 当 append 之后的长度小于等于 cap，将会直接利用原底层数组剩余的空间
      • 当 append 后的长度大于 cap 时，则会分配一块更大的区域来容纳新的底层数组

    • 因此，为了避免内存发生拷贝，如果能够知道最终的切片的大小，预先设置 cap 的值能够获得最好的性能

image.png

  • 另一个陷阱：大内存得不到释放

    • 在已有切片的基础上进行切片，不会创建新的底层数组。因为原来的底层数组没有发生变化，内存会一直占用，直到没有变量引用该数组

    • 因此很可能出现这么一种情况，原切片由大量的元素构成，但是我们在原切片的基础上切片，虽然只使用了很小一段，但底层数组在内存中仍然占据了大量空间，得不到释放

    • 推荐的做法，使用 copy 替代 re-slice

image.png

image.png

map 预分配内存

-   原理

    -   不断向 map 中添加元素的操作会触发 map 的扩容
    -   根据实际需求提前预估好需要的空间
    -   提前分配好空间可以减少内存拷贝和 Rehash 的消耗

image.png

使用 strings.Builder

  • 常见的字符串拼接方式

        +
   strings.Builder
    bytes.Buffer

  • strings.Builder 最快，bytes.Buffer 较快，+ 最慢

  • 原理

    • 字符串在 Go 语言中是不可变类型，占用内存大小是固定的，当使用 + 拼接 2 个字符串时，生成一个新的字符串，那么就需要开辟一段新的空间，新空间的大小是原来两个字符串的大小之和
    • strings.Builder，bytes.Buffer 的内存是以倍数申请的
    • strings.Builder 和 bytes.Buffer 底层都是 []byte 数组，bytes.Buffer 转化为字符串时重新申请了一块空间，存放生成的字符串变量，而 strings.Builder 直接将底层的 []byte 转换成了字符串类型返回

image.png

可以提前预分配 image.png

使用空结构体节省内存

-   空结构体不占据内存空间，可作为占位符使用

-   比如实现简单的 Set

    -   Go 语言标准库没有提供 Set 的实现，通常使用 map 来代替。对于集合场景，只需要用到 map 的键而不需要值

image.png

使用 atomic 包

  • 原理

    • 锁的实现是通过操作系统来实现，属于系统调用，atomic 操作是通过硬件实现的，效率比锁高很多
    • sync.Mutex 应该用来保护一段逻辑，不仅仅用于保护一个变量
    • 对于非数值系列，可以使用 atomic.Value，atomic.Value 能承载一个 interface{}

2、性能调优

  • 性能调优原则

    • 要依靠数据不是猜测
    • 要定位最大瓶颈而不是细枝末节
    • 不要过早优化
    • 不要过度优化

性能分析工具

性能调优的核心是性能瓶颈的分析，对于 Go 应用程序，最方便的就是 pprof 工具

pprof 功能说明

-   pprof 是用于可视化和分析性能分析数据的工具
-   可以知道应用在什么地方耗费了多少 CPU、memory 等运行指标

image.png

前置准备 clone wolfogre/go-pprof-practice: go pprof practice. (github.com) 到本地 运行项目，并在浏览器输入： http://localhost:6060/debug/pprof/

image.png

实际分析排查过程

排查 CPU 问题

-   命令行分析
-    go tool pprof "[http://localhost:6060/debug/pprof/profile?seconds=10](https://link.juejin.cn/?target=http%3A%2F%2Flocalhost%3A6060%2Fdebug%2Fpprof%2Fprofile%3Fseconds%3D10 "http://localhost:6060/debug/pprof/profile?seconds=10")"

image.png

image.png

image.png

image.png 可以看到有一个10000000000次的循环，定位成功 可视化需要安装graphviz

image.png

刚开始一直报错，环境变量也配置了但一直没有结果图，查阅资料之后原来是因为在goland自带的终端中的问题

image.png

heap堆内存

image.png

image.png

image.png 在堆内存采样中，默认展示的是inuse_space视图，只展示当前持有的内存，但如果有的内存已经释放买这个时候inuse采样就不会展示了，切换到alloc_space视图来看一看

image.png

排查协程问题

-   go tool pprof -http=:8080 "[http://localhost:6060/debug/pprof/goroutine](https://link.juejin.cn/?target=http%3A%2F%2Flocalhost%3A6060%2Fdebug%2Fpprof%2Fgoroutine "http://localhost:6060/debug/pprof/goroutine")"

image.png

image.png

排查锁问题

-   go tool pprof -http=:8080 "[http://localhost:6060/debug/pprof/mutex](https://link.juejin.cn/?target=http%3A%2F%2Flocalhost%3A6060%2Fdebug%2Fpprof%2Fmutex "http://localhost:6060/debug/pprof/mutex")"

image.png

排查阻塞问题

-   go tool pprof -http=:8080 "[http://localhost:6060/debug/pprof/block](https://link.juejin.cn/?target=http%3A%2F%2Flocalhost%3A6060%2Fdebug%2Fpprof%2Fblock "http://localhost:6060/debug/pprof/block")"
-

image.png

pprof 的采样过程和原理

image.png

image.png

image.png

image.png

image.png

性能调优案例

基本概念

-   服务：能单独部署，承载一定功能的程序
-   依赖：Service A 的功能实现依赖 Service B 的响应结果，称为 Service A 依赖 Service B
-   调用链路：能支持一个接口请求的相关服务集合及其相互之间的依赖关系
-   基础库：公共的工具包、中间件

image.png

业务优化

-   流程

    -   建立服务性能评估手段
    -   分析性能数据，定位性能瓶颈
    -   重点优化项改造
    -   优化效果验证

-   建立压测评估链路

    -   服务性能评估
    -   构造请求流量
    -   压测范围
    -   性能数据采集
    -

image.png

分析性能火焰图，定位性能瓶颈

    -   pprof 火焰图

重点优化项分析

    -   规范组件库使用

image.png - 高并发场景优化

image.png - 增加代码检查规则避免增量劣化出现

image.png - 优化正确性验证

image.png

上线验证评估

    -   逐步放量，避免出现问题

-   进一步优化，服务整体链路分析

    -   规范上游服务调用接口，明确场景需求
    -   分析业务流程，通过业务流程优化提升服务性能

image.png

基础库优化

-   适应范围更广，覆盖更多服务

-   AB 实验 SDK 的优化

    -   分析基础库核心逻辑和性能瓶颈
    -   完善改造方案，按需获取，序列化协议优化
    -   内部压测验证
    -   推广业务服务落地验证
  • Go 语言优化

    • 适应范围最广，Go 服务都有收益

    • 优化方式

      • 优化内存分配策略

      • 优化代码编译流程，生成更高效的程序

      • 内部压测验证

      • 推广业务服务落地验证

avatar
文章
阅读
粉丝