Go性能调优 | 青训营

已注销
160 阅读11分钟

这是我参与[第五届青训营]伴学笔记创作活动的第3天。

前言

本章主要学习如何编写更简洁清晰的代码，常用go语言程序优化手段，熟悉go程序性能分析工具，了解工程中性能优化的原则和流程。 01.高质量编程：高质量编程简介，编码规范，性能优化建议； 02.性能调优实践：性能调优简介，性能分析工具pprof实战，性能调优案例。

1.1简介

什么是高质量：编写的代码能够达到正确可靠、简介清晰的目标。

  • 各种边界条件是否考虑完备
  • 异常情况处理，稳定性保证
  • 易读易维护

编程原则： 实际应用场景千变万化，各种语言的特性和语法各不相同，但是高质量编程遵循的原则是相通的。

  1. 简单性
  • 消除“多余的复杂性”，以简单清晰的逻辑编写代码
  • 不理解的代码无法修复改进
  1. 可读性
  • 代码是写给人看的，而不是机器
  • 编写可维护代码的第一步是确保代码可读
  1. 生产力
  • 团队整体工作效率非常重要

1.2编码规范

如何编写高质量的Go代码

  • 代码格式
  • 注释
  • 命名规范
  • 控制流程
  • 错误和异常处理

1.2.1编码规范-代码格式

  • 推荐使用gofmt自动格式化代码
  • gofmt

Go语言官方提供的工具，能自动格式化Go语言代码为官方统一风格 常见IDE都支持方便的配置

  • goimports

也是Go语言官方提供的工具 实际等于gofmt加上依赖包管理 自动增删依赖的包引用、将依赖包按字母排序分类

1.2.2编码规范-注释

简介 注释应该做的

  1. 注释应该解释代码作用
  • 适合注释公共符号
复制代码
  1. 注释应该解释代码如何做的
  • 适合注释实现过程
复制代码
  1. 注释应该解释代码实现的原因
  • 适合解释代码的外部因素
复制代码

  • 提供额外上下文
复制代码
  1. 注释应该解释代码什么情况会出错
  • 适合解释代码的限制条件
复制代码

公共符号始终要注释

  • 包中声明的每个公共的符号：变量、常量、函数以及结构都需要添加注释；
  • 任何既不明显也不简短的公共功能需要添加注释；
  • 无论长度或复杂度如何，对库中的任何函数都必须进行注释。
  • 一个例外：不需要注释实现接口的方法

1.2.3编码规范-命名规范

variable

  • 简洁胜于冗长

  • 缩略词全大写，但当其位于变量开头且不需要导出时，使用全小写

    • 例如使用ServeHTTP而不是ServerHttp
    • 使用XMLHTTPRequest或者xmlHTTPRequest

  • 变量距离其被使用的地方越远，则需要携带越多的上下文信息

    • 全局变量在其名字中需要更多的上下文信息，使得在不同地方可以轻易辨认出其含义

36b2abbb2566dd4d2824cc5c037e4dc.png

  • i和index的作用域范围仅限于for循环
  • 内部的index的额外冗长几乎每增加对于程序的理解

97db7ccbfc44dae4b1b0c0a87e72dbf.png

  • 将deadline替换成t降低了变量名的信息量
  • t常代指任意时间
  • deadline指截止时间，有特定的含义

function

  • 函数名不携带包名的上下文信息，因为包名和函数名总是成对出现
  • 函数名尽量简短
  • 当名为foo的包某个函数返回类型Foo时，可以省略类型信息而不导致歧义
  • 当名为foo的包某个函数返回类型T时（T不是Foo），可以在函数名中加入类型信息

package

  • 只由小写字母组成。不包含大写字母和下划线字符。
  • 简短并包含一定的上下文信息。例如schema、task等。
  • 不要与标准库同名。例如不要使用sync或者strings。

以下规则尽量满足，以标准库包名为例子

  • 不使用常用变量名作为包名。例如使用bufio而不是buf。
  • 是用单数而不是复数。例如使用encoding而不是encodings。
  • 谨慎地使用缩写。例如是有fmt在不破坏上下文的情况下比format更加简洁。

小结

  • 核心目标是降低阅读理解代码的成本
  • 重点考虑上下文信息，设计简洁清晰的名称

1.2.4编码规范-控制流程

避免嵌套，保持正常流程清晰6a4a8d60f919fdd87d4f849e0c71291.png

  • 如果两个分支中都包含return语句，则可以去除冗余的else。
  • 尽量保持正常代码路径为最小缩进。
  • 优先处理错误情况或特殊情况，尽早返回或继续循环来减少嵌套。

423fe36d6aec9fcef0f38946866c90e.png

  • 最常见的正常流程的路径被嵌套在两个if条件内
  • 成功的退出条件是return nil，必须仔细匹配大括号来发现
  • 函数最后一行返回一个错误，需要追溯到匹配的左括号，才能了解何时会触发错误
  • 如果后续正常流程需要增加一步操作，调用信的函数，则又增加一层嵌套

cc37ba067e11d25fd0118517b4f3a2d.png

小结

  • 线性原理，处理逻辑尽量走直线，避免复杂的嵌套分支。
  • 正常流程代码沿着屏幕向下移动。
  • 提升代码可维护性和可读性。
  • 故障大多出现在复杂的控制语句和循环语句中。

1.2.5编码规范-错误和异常处理

简单错误

  • 简单的错误指的是仅出现一次的错误，且在其他地方不需要捕获错误
  • 优先使用error.New来创建匿名变量来直接表示简单错误
  • 如果有格式化的需求，使用fmt.Error

错误的wrap和unwrap

  • 错误的wrap实际上是提供了一个error嵌套另一个error的能力，从而生成一个error的跟踪链
  • 在fmt.Error中使用：%w关键字来将一个错误关联至错误链中
  • Go1.13在errors中新增了三个新API和一个新的format关键字，分别是errors.ls errors.As,errors.Unwrap以及fmt.Errorf 的%w。如果项目运行在小于Go1.13的版本中，导入golang.org/x/xerrors来使用

错误判定

  • 判定一个错误是否为特定错误，使用errors.Is
  • 不同于使用==，使用该方法可以判定错误链上的所有错误是否含有特定的错误
  • 在错误链上获取特定种类的错误，使用errors.As

panic

  • 不建议在业务代码中使用panic
  • 调用函数不包含recover会造成程序崩溃
  • 若问题可以被屏蔽或解决，建议使用error代替painc
  • 当程序启动阶段发生不可逆转的错误时，可以在init或main函数中使用panic

recover

  • recover只能在被defer的函数中使用
  • 嵌套无法生效
  • 只在当前goroutine生效
  • defer的语句是后进先出
  • 如果需要更多的上下文信息，可以recover后在log中记录当前的调用栈

小结

  • error尽可能提供简明的上下文信息链，方便定位问题。
  • panic用于正真异常的情况。
  • recover生效范围，在当前goroutine中被defer的函数生效。

1.3性能优化建议

简介

  • 性能优化的前提是满足正确可靠，简洁清晰等质量因素
  • 性能优化是综合评估,有时候时间效率和空间效率可能对立
  • 针对Go语言特性,介绍Go相关的性能优化建议

1.3.1性能优化建议-Benchmark

如何使用

  • 性能表现需要实际数据衡量
  • Go语言提供了支持基准性能测试的benchmerk

1.3.2性能优化建议-slice

slice预分配内存

尽可能在使用make()初始化切片时提供容量信息

  • 切片本质是一个数组片段的描述 -包括数组指针 -片段的长度 -片段的容量(不改变内存分配情况下的最大长度)。
  • 切片操作并不复制切片指向的元素
  • 创建一个新的切片会复用原来切片的底层数组

另一个陷阱:大内存未释放

  • 在已有切片基础上创建切片，不会创建新的底层数组

  • 场景

    • 原切片较大,代码在原切片基础上新建小切片
    • 原底层数组在内存中有引用，得不到释放

  • 可使用copy替代re-slice

1.3.3性能优化建议-Map

map预分配内存

分析

  • 不断向map中添加元素的操作会触发map 的扩容
  • 提前分配好空间可以减少内存拷贝和 Rehash的消耗
  • 建议根据实际需求提前预估好需要的空间

1.3.4性能优化建议-字符串处理

使用strings.Builder8f1608c4b0069942ea5f67ce2055bc7.png使用＋拼接性能最差，strings.Builder，bytes.Buffer相近，strings.Buffer 更快。

分析

  • 字符串在Go语言中是不可变类型，占用内存大小是固定的
  • 使用＋每次都会重新分配内存
  • strings.Builder，bytes.Buffer底层都是byte数组。
  • 内存扩容策略，不需要每次拼接重新分配内存。

原因

  • bytes.Buffer 转化为字符串时重新申请了一块空间
  • strings.Builder直接将底层的0byte转换成了字符串类型返回

1.3.5性能优化建议-空结构体

使用空结构体节省内存

  • 空结构体struct目实例不占据任何的内存空间。

  • 可作为各种场景下的占位符使用

    • 节省资源
    • 空结构体本身具备很强的语义，即这里不需要任何值，仅作为占位符

1.3.6性能优化建议-atomic包

  • 锁的实现是通过操作系统来实现，属于系统调用
  • atomic操作是通过硬件实现,效率比锁高
  • sync.Mutex应该用来保护一段逻辑，不仅仅用于保护一个变量
  • 对于非数值操作，可以使用atomic.Value，能承载一个interfacel

小结

  • 避免常见的性能陷阱可以保证大部分程序的性能
  • 普通应用代码，不要一味地追求程序的性能
  • 越高级的性能优化手段越容易出现问题
  • 在满足正确可靠、简洁清晰的质量要求的前提下提高程序性能

02.性能调优实战

2.1性能调优原则

  • 要依靠数据不是猜测
  • 要定位最大瓶颈而不是细枝末节
  • 不要过早优化
  • 不要过度优化

2.2性能分析工具pprof

说明

  • 希望知道应用在什么地方耗费了多少CPU、Memory
  • pprof是用于可视化和分析性能分析数据的工具
  • pprof 功能简介
  • pprof排查实战
  • pprof 的采样过程和原理

2.2.1性能分析工具pprof-功能简介

df89667b1a9c9d45f61ffaf6ecbfa1e.png

2.2.2性能分析工具pprof-排查实战

b6a176cb7ee776e05ee010aed5864e7.png

  • 项目提前埋入了一些炸弹代码，产生可观测的性能问题

打开游览器排查aaac27d20bd80a219aba267a9f49add.png

CPU

输入 topN 命令，查看 CPU 占用较高的调用41e599ed9e71d8fc8eb7034ed1f0514.png

命令：list根据指定的正则表达式查找代码行8efc7af6b13a461e27dd36e7deb3f56.png

命令：web调用关系可视化deb67ef137a0bec46d09b24ce857cde.png

heap-堆内存

go tool pprof -http=:8080 "http://localhost:6060/debug/pprof/heap"

goroutine-协程

goroutine泄露也会导致内存泄漏 go tool pprof -http=:8080 "http://liocalhost:6060/debug/pprof/goroutine"

  • 由上到下表示调用顺序
  • 每一块代表一个函数,越长代表占用CPU的时间更长
  • 火焰图是动态的，支持点击块进行分析
  • 支持搜索，在Scource视图下搜索wolf
  • 注释问题代码后的结果

mutex-锁

go tool pprof -http=:8080 "http://localhost:6060/debug/pprof/mutex"

block-阻塞

go tool pprof -http=:8080 "http://localhost:6060/debug/pprof/block"

小结 image.png GO的性能调优就是优化程序对于资源的占用，对于服务器，主要是优化其CPU和内存。主要包括CPU、Memory、Block、Goroutine等方面，golang代码的性能检控检控监控使用的是pprof包，提供了非常丰富的根据供开发者使用。当你发现某函数需要经常调用、数据结构设计不合理、用户反映服务响应太慢等情况时，就需要优化，优化思路是算法效率与现象健康以及内存分配合理等。要合理正确使用make、map、defer、range与变量等等陷阱。

avatar
文章
阅读
粉丝