GO语言高质量编程与性能调优实战 ｜ 青训营笔记

zhujing
145 阅读9分钟

这是我参与「第三届青训营 -后端场」笔记创作活动的的第2篇笔记。主要内容为对第三次课程的学习总结。

高质量编程

命名规范

  • variable

    • 简洁胜于冗长
    • 缩略词全大写，但当其位于变量开头且不需要导出时，使用全小写
    • 变量距离其被使用的地方越远，则需要携带越多的上下文信息
    • 全局变量在其名字中需要更多的上下文信息，使得在不同地方可以轻易辨认出其含义

  • function

    • 函数名不携带包名的上下文信息，因为包名和函数名总是成对出现的
    • 函数名尽量简短
    • 当名为 foo 的包某个函数返回类型 Foo 时，可以省略类型信息而不导致歧义
    • 当名为 foo 的包某个函数返回类型 T 时（T 并不是 Foo），可以在函数名中加入类型信息

  • package

    • 只由小写字母组成。不包含大写字母和下划线等字符
    • 简短并包含一定的上下文信息。例如 schema、task 等
    • 不要与标准库同名。例如不要使用 sync 或者 strings

错误和异常处理

错误的 Wrap 和 Unwrap

  • 在 fmt.Errorf 中使用 %w 关键字来将一个错误 wrap 至其错误链中

  • github.com/golang/go/b…

  • Go1.13 在 errors 中新增了三个新 API 和一个新的 format 关键字，分别是 errors.Is、errors.As 、errors.Unwrap 以及 fmt.Errorf 的 %w。如果项目运行在小于 Go1.13 的版本中，导入 golang.org/x/xerrors 来使用。以下语法均已 Go1.13 作为标准。

  • panic

    • 不建议在业务代码中使用 panic
    • 如果当前 goroutine 中所有 deferred 函数都不包含 recover 就会造成整个程序崩溃
    • 当程序启动阶段发生不可逆转的错误时，可以在 init 或 main 函数中使用 panic
    • github.com/Shopify/sar…

  • recover

性能优化

Benchmark

go语言支持基准性能测试 pkg.go.dev/testing#hdr…

  • slice 预分配内存

  • ueokande.github.io/go-slice-tr…

  • 在尽可能的情况下，在使用 make() 初始化切片时提供容量信息，特别是在追加切片时

  • 切片有三个属性，指针(ptr)、长度(len) 和容量(cap)。append 时有两种场景：

    • 当 append 之后的长度小于等于 cap，将会直接利用原底层数组剩余的空间
    • 当 append 后的长度大于 cap 时，则会分配一块更大的区域来容纳新的底层数组

  • 因此，为了避免内存发生拷贝，如果能够知道最终的切片的大小，预先设置 cap 的值能够获得最好的性能

另一个陷阱：大内存得不到释放

  • 在已有切片的基础上进行切片，不会创建新的底层数组。因为原来的底层数组没有发生变化，内存会一直占用，直到没有变量引用该数组

  • 因此很可能出现这么一种情况，原切片由大量的元素构成，但是我们在原切片的基础上切片，虽然只使用了很小一段，但底层数组在内存中仍然占据了大量空间，得不到释放

  • 推荐的做法，使用 copy 替代 re-slice

  • map 预分配内存

    • 原理

      • 不断向 map 中添加元素的操作会触发 map 的扩容
      • 根据实际需求提前预估好需要的空间
      • 提前分配好空间可以减少内存拷贝和 Rehash 的消耗
  • 使用 strings.Builder

    • 常见的字符串拼接方式

      • strings.Builder
      • bytes.Buffer

    • strings.Builder 最快，bytes.Buffer 较快，+ 最慢

    • 原理

      • 字符串在 Go 语言中是不可变类型，占用内存大小是固定的，当使用 + 拼接 2 个字符串时，生成一个新的字符串，那么就需要开辟一段新的空间，新空间的大小是原来两个字符串的大小之和
      • strings.Builder，bytes.Buffer 的内存是以倍数申请的
      • strings.Builder 和 bytes.Buffer 底层都是 []byte 数组，bytes.Buffer 转化为字符串时重新申请了一块空间，存放生成的字符串变量，而 strings.Builder 直接将底层的 []byte 转换成了字符串类型返回
  • 使用空结构体节省内存

    • 空结构体不占据内存空间，可作为占位符使用

    • 比如实现简单的 Set

      • Go 语言标准库没有提供 Set 的实现，通常使用 map 来代替。对于集合场景，只需要用到 map 的键而不需要值
  • 使用 atomic 包

    • 原理

      • 锁的实现是通过操作系统来实现，属于系统调用，atomic 操作是通过硬件实现的，效率比锁高很多
      • sync.Mutex 应该用来保护一段逻辑，不仅仅用于保护一个变量
      • 对于非数值系列，可以使用 atomic.Value，atomic.Value 能承载一个 interface{}
总结
  • 避免常见的性能陷阱可以保证大部分程序的性能
  • 针对普通应用代码，不要一味地追求程序的性能，应当在满足正确可靠、简洁清晰等质量要求的前提下提高程序性能

性能调优实战

性能分析工具pprof

截屏2022-05-10 下午11.54.18.png

课程测试代码github.com/wolfogre/go…，项目中提前埋入了一些问题代码。

go run main.go运行代码后，打开http://localhost:6060/debug/pprof/ 可以看到一些指标信息

image.png

  • CPU 分析 打开活动监视器，可以看到

截屏2022-05-11 上午12.26.54.png

main进程占用cpu达到50%+。

命令行输入- go tool pprof "http://localhost:6060/debug/pprof/profile?seconds=10"查看10s内采集数据

image.png

输出top命令

截屏2022-05-11 上午12.35.11.png

对应指标含义如下

image.png

不难发现，当函数中没有调用其他函数，Flat == Cum；当函数中只有其他函数的调用，Flat == 0

可以看到tiger.Eat函数执行耗时较大。

输入list Eat，

image.png

很明显，

image.png 该循环耗时较长。

注释掉相关代码后，可以发现cpu占用明显下降

image.png

  • 内存分析

image.png

命令行输入 go tool pprof -http=:8080 "http://localhost:6060/debug/pprof/heap"

image.png

可以发现Mouse中的Steal方法占用了大量内存，注释相关代码后可以发现：

image.png

main进程内存占用极大降低

image.png

截屏2022-05-11 上午12.55.06.png

切换至alloc_space,可以发现

image.png

类似的，我们还可以排查协程、锁、阻塞等问题。

image.png

image.png

  • 堆内存采样

image.png

  • 协程和系统线程采样

image.png

  • 阻塞操作和锁竞争采样

image.png

性能优化案列

业务优化

  • 流程

    • 建立服务性能评估手段

    • 分析性能数据，定位性能瓶颈

    • 重点优化项改造

    • 优化效果验证

  • 建立压测评估链路

    • 服务性能评估
    • 构造请求流量
    • 压测范围
    • 性能数据采集

  • 分析性能火焰图，定位性能瓶颈

    • pprof 火焰图

  • 重点优化项分析

    • 规范组件库使用
    • 高并发场景优化
    • 增加代码检查规则避免增量劣化出现
    • 优化正确性验证

  • 上线验证评估

    • 逐步放量，避免出现问题

  • 进一步优化，服务整体链路分析

    • 规范上游服务调用接口，明确场景需求
    • 分析业务流程，通过业务流程优化提升服务性能

基础库优化

  • 适应范围更广，覆盖更多服务

  • AB 实验 SDK 的优化

    • 分析基础库核心逻辑和性能瓶颈

      • 设计完善改造方案

      • 数据按需获取

      • 数据序列化协议优化

    • 内部压测验证

    • 推广业务服务落地验证

Go 语言优化

  • 适应范围最广，Go 服务都有收益

  • 优化方式

    • 优化内存分配策略
    • 优化代码编译流程，生成更高效的程序
    • 内部压测验证
    • 推广业务服务落地验证

课后作业

  • 了解下其他语言的编码规范，是否和 Go 语言编码规范有相通之处，注重理解哪些共同点

    其他语言编码规范和 Go 有很多相同之处，重点体现在命名规范、注释规范这两部分，因为它们对于代码的可读性起着非常重要的作用。

  • 编码规范或者性能优化建议大部分是通用的，有没有方式能够自动化对代码进行检测？

    在当前常见的ide中，大多都带有代码格式检查插件，比如goland，采用此类插件，即可实现自动化的代码检查。

  • 使用 Go 进行并发编程时有哪些性能陷阱或者优化手段？

    1、在使用 channel 进行通讯时，要注意有写入和有读取，而且写入完之后要记得将 channel 关掉，不然在读取的协程会一直被阻塞，若读写双方都在等待就会造成死锁；

    2、闭包传递参数的问题，某参数在循环中被复用，导致并发错误。我们可以通过复制拷贝或者传参拷贝的方式规避panic异常

  • 在真实的线上环境中，每个场景或者服务遇到的性能问题也是各种各样，搜索下知名公司的官方公众号或者博客，里面有哪些性能优化的案例？比如 eng.uber.com/category/os…

  • Go 语言本身在持续更新迭代，每个版本在性能上有哪些重要的优化点？

    Go 1.11：引入 Go modules，go mod 逐渐成为主流包管理方式

    Go 1.13：defer 性能优化，性能提高 30%

    Go 1.15：改进了对高核心数的小对象的分配

    Go 1.17：微调了语言特性，允许从切片到数组指针的转换

    Go 1.18：支持泛型，模糊测试

avatar
文章
阅读
粉丝