高质量编程和性能优化 | 青训营笔记

155 阅读8分钟

这是我参与「第三届青训营 -后端场」笔记创作活动的的第 1 篇笔记

高质量编程

什么是高质量

  • 各种边界条件考虑完备
  • 异常情况处理, 稳定性保证
  • 易读易维护

编程原则

简单性

  • 消除"多余的复杂性", 以简单清晰的逻辑编写代码
  • 不理解的代码无法修复改进

可读性

  • 确保代码可读, 降低维护难度
  • 代码是写给人看的, 而不是机器

生产力

  • 团队整体工作效率非常重要

编码规范

编写高质量的代码需注意:

  • 代码格式
  • 注释
  • 命名规范
  • 控制流程
  • 错误和异常处理

工具

  • gofmt: Go 语言官方提供的工具, 能自动格式化 Go 语言代码为官方统一风格
  • goimports: 也是 GO 语言官方提供的工具, 实际等于 gofmt 加上依赖包管理, 可以自动增删依赖的包引用、将依赖包按字母排序并分类

注释

  • 注释应该做到
    • 解释代码的作用
    • 解释代码如何做的。适合注释实现过程。
    • 解释代码实现的原因。适合解释代码的外部因素或者提供额外的上下文,以便维护人员评估改动的影响。
    • 解释代码什么情况下会出错。适合解释代码的限制条件,便于他人理解代码。
  • 公共符号 始终要注释
    • 包中声明的每个公共的符号:**变量、常量、函数、以及结构 **都需要添加注释。
    • 任何既 不明显不简短公共功能 必须予以注释。
    • 无论长度或复杂程度如何,对库中的任何 函数 都必须进行注释。
    • 实现接口的方法不需要注释。

命名规范

variable(变量)

  • 简洁胜于冗长
  • 缩略词全大写,但当其位于变量开头且不需要导出(暴露给外部使用)时,使用全小写。
    • 例如,使用 ServeHTTP 而不是 ServerHttp
    • 使用 XMLHTTPRequest 或者 xmlHTTPRequest
  • 变量距离其被使用的地方越远,则需要携带越多的 上下文信息
    • 全局变量 在其 名字 中需要更多的 上下文信息,使得在不同地方可以轻易辨认出其含义
// Bad
for index := 0; index < len(s); index++{
	// do something
}
// Good
// i 和 index 的作用域仅限于 for 循环内部时, index 的额外冗长可以省略, 因其并没有增加对于程序的理解
for i := 0; i < len(s); i{
	// do something
}

// Good
func (c *Client) send (req *Request, deadline time.Time)

// Bad
func (c *Client) send (req *Request, t time.Time)
// 将 deadline 替换成 t 降低了变量名的信息量

function(函数/方法名)

  • 函数名不携带包名的上下文信息,因为它们总是成对出现的。如,http 包下的 Server 函数,调用时使用 http.Server ,那么我们在定义函数时,就不需要定义成 ServerHTTP。
  • 函数名尽量简短。
  • 当名为 foo 的包某个函数返回类型 Foo 时,可以省略类型信息而不导致歧义。
  • 当名为 foo 的包某个函数返回类型 T 时,可以在函数名中加入类型信息。

package(包名)

  • 只由小写字母组成。不包含大写字母和下划线等字符。
  • 简短并包含一定的上下文信息。例如,schema、task 等。
  • 不要与标准库同名。

以下规则尽量满足,以标准库包名为例:

  • 不使用常用变量作为包名,例如使用 bufio 而不是 buf
  • 使用单数而不是复数。例如,使用 encoding 而不是 encodings
  • 谨慎地使用缩写。例如使用 fmt 在不破坏上下文的情况下比 format 更加简短

小结

  • 命名规范的出发点以及核心是降低他人(自己)阅读理解代码的成本。
  • 重点考虑上下文信息,设计简洁清晰的名称。

控制流程

  • 避免嵌套,保持正常流程清晰
  • 尽量保持正常代码路径为最小缩进
    • 优先处理错误情况、特殊情况。尽早返回或继续循环来减少嵌套
  • 小结
    • 线性原理,逻辑尽量走直线,避免复杂的嵌套分支
    • 正常流程代码沿着屏幕向下移动
    • 提升代码可维护性和可读性
    • 故障问题大多出现在复杂的条件语句和循环语句中
// Good
func OneFunc() error{
    if err := doSomething(); err != nil {
        return err
    }
    if err := doAnotherThing(); err != nil{
        return err
    }
    return nil
}
// Bad
func OneFunc() error{
    err := doSomething()
    if err == nil {
        err := doAnotherThing()
        if err == nil{
        	return nil
    	}
         return err
    }
    return err
}

错误和异常处理

简单错误

  • 简单的错误指仅出现一次的错误,且在其他地方不需要捕获该错误
  • 优先使用 errors.New 来创建匿名变量,以直接表达简单错误
  • 如果有格式化的需求,使用 fmt.Errorf
func defaultCheckRedirect(req *Request, via []*Request) error{
    if len(via) >= 10{
        return error.New("stopped after 10 redirects")
    }
    return nil
}

错误的 Wrap 和 Unwrap

  • 错误的 Wrap 实际上是提供了一个 error 嵌套另一个 error 的能力,从而生成一个 error 的跟踪链
  • 在 fmt.Errorf 中使用: %w 关键字来将一个错误关联至错误链中
list, _, err := c.GetBytes(cache.Subkey(a.actionID, "srcfiles"))
if err != nil{
    // Treat non-existent as empty, to bootstrap the "lastest" file 
    // the first time we connect to a given database
    return fmt.Errorf("reading srcfiles list: %W", err)
}

错误判定

  • 使用 errors.Is 判定一个错误是否为特定错误
  • 不同于 ==, 使用该方法可以判定错误链上的所有错误是否含有特定的错误
  • 在错误链上获取特定种类的错误,使用 errors.As
data, err = lockedfile.Read(targ)
if errors.Is(err, fs.ErrNotExist){
    return []byte{}, nil
}
return data, err

panic(宕机/程序崩溃)

  • 不建议在业务代码中使用 panic
  • 调用函数不包含 recover 会造成程序崩溃
  • 若问题可以被屏蔽或解决,建议使用 error 代替 panic
  • 当程序启动阶段发生不可逆转的错误时,可以在 init 或 main 函数中使用 panic

recover(恢复)

  • recover 只能在被 defer 的函数中使用
  • 嵌套无法生效
  • 只能在当前 goroutine 生效
  • defer 的语句是后进先出
  • 如果需要更多的上下文信息,可以在 recover 后再 log 中记录当前的调用栈
func (t *treeFS) Open (name string) (f fs.File, err error){
    defer func(){
        if e := recover(); e != nil{
            f = nil
            err = fmt.Error("gitfs panic: %v\n%s", e, debug.Stack())
        }
    }()
    // ...
}

小结

  • error 尽可能提供简明的上下文信息链,方便定位问题
  • panic 用于真正异常的情况
  • recover 生效范围,在当前 goroutine 的被 defer 的函数中生效

性能优化

简介

  • 性能优化的前提是满足正确可靠、简洁清晰等质量因素
  • 性能优化是综合评估,有时 时间效率空间效率 可能对立(需要空间换时间,或者反过来)

Benchmark

  • 性能表现需要实际数据衡量
  • Go 语言提供了支持 基准性能测试 的 benchmark 工具
// 终端中使用 go test -bench=. -benchmem 运行 (windows 下需要改成-bench='.')
// from fib_test.go
fuc Fib(n int) int{
    if n<2 {
        return n
    }
}
// from fib_test.go
func BenchmarkFib10(b *testing.B){
    // run the Fib function b.N times
    for n := 0; n < b.N; n++{
        Fib(10)
    }
}
/*
输出
goos: windows				//运行环境
goarch: amd64				//CPU架构
pkg: GoStudy/Benchmark		//包名
cpu: Intel(R) Core(TM) i5-9300H CPU @ 2.40GHz	
//函数名				执行次数,即 b.N 的值	 每次执行花费的毫秒数	  执行申请多大的内存  申请几次内存
BenchmarkFib10-8         4886326               243.1 ns/op             0 B/op         0 allocs/op
PASS					//执行通过
ok      GoStudy/Benchmark       1.711s

*/

slice 预分配内存

  • 尽可能在使用 make() 初始化切片时提供容量信息
  • 切片的本质是一个数组片段的描述
    • 包括数组指针
    • 片段的长度、容量(不改变内存分配情况下的最大长度)
  • 切片操作并不复制切片指向的元素
  • 创建一个新的切片会复用原来切片的底层数组

进行 append 操作时,当切片的容量不足以容纳新元素时,会申请一块更大的内存,然后拷贝原来的元素,追加新元素到新内存,同时,数组指针也会指向新内存空间,长度也随之改变

func NoPreAlloc(size int) {
	data := make([]int, 0)
	for k := 0; k < size; k++ {
		data = append(data, k)
	}
}
// 指定大小
func PreAlloc(size int) {
	data := make([]int, 0, size)
	for k := 0; k < size; k++ {
		data = append(data, k)
	}
}
// 测试
func BenchmarkPreAlloc(b *testing.B) {
	// run the Fib function b.N times
	for n := 0; n < b.N; n++ {
		NoPreAlloc(100)
	}
}
func BenchmarkNoPreAlloc(b *testing.B) {
	// run the Fib function b.N times
	for n := 0; n < b.N; n++ {
		NoPreAlloc(100)
	}
}
// BenchmarkNoPreAlloc-8       1977146               571.6 ns/op          2040 B/op          8 allocs/op
// BenchmarkPreAlloc-8         5280114               221.1 ns/op          896 B/op          1 allocs/op
// 可以看到预分配后, 申请内存只有 1 次, 并且申请的内存更少, 执行时间低了几乎 3 倍

另一个陷阱:大内存未释放

  • 在已有切片基础上创建新切片,不会创建新的底层数组
  • 场景
    • 原切片较大,代码在原切片基础上新建小切片
    • 原底层数组因在内存中有引用,不会进行垃圾回收,得不到释放
  • 可使用 copy 替代 re-slice

map 预分配内存

map 也是常用的结构,也可以预分配内存优化性能。

  • 不断向 map 中添加元素的操作会触发 map 的扩容
  • 提前分配好空间可以减少内存拷贝和 Rehash 的消耗
  • 建议根据实际需求提前预估好需要的空间
func NoPreAlloc(size int) {
	data := make(map[int]int)
	for i := 0; i < size; i++ {
		data[i] = 1
	}
}
func NoPreAlloc(size int) {
	data := make(map[int]int, size)
	for i := 0; i < size; i++ {
		data[i] = 1
	}
}

// BenchmarkNoPreAlloc-8      17061             70702 ns/op           86554 B/op         64 allocs/op
// BenchmarkPreAlloc-8        40993             29070 ns/op           41097 B/op          6 allocs/op

字符串处理 - 使用 strings.Builder

  • 常用的字符串拼接方式有 "+" 、strings.Builder 以及 bytes.Buffer

    • 分析
      • 字符串在 Go 语言中是不可变类型,占用内存大小是固定的。
      • 每次使用 “+” 都会重新分配内存。
      • strings.Builder,bytes.Buffer 底层都是 []byte 数组。
      • 内存扩容策略,不需要每次拼接重新分配内存。
  • 实际测试 最慢的 是 "+"操作,它的申请内存次数也是最多的,strings.Builder 的性能比 bytes.Buffer 稍快, 但是申请内存比 bytes.Buffer 更多

    • bytes.Buffer 转化为字符串时重新申请了一块空间。
    • strings.Builder 直接将底层的 []byte转换成了字符串类型返回。
  • 同样的,进行内存预分配可以减少 Builder 和 Buffer 申请内存的 次数 和每次申请内存的 大小。预分配使用 Builder.Grow(),Buffer.Grow()。

使用空结构体节省内存

  • 空结构体 struct{} 实例不占据任何内存空间
  • 可作为各种场景下的占位符使用。有以下优点:
    • 节省资源
    • 空结构体本身具备很强的语义,即这里不需要任何值,仅作为占位符

atomic(原子操作) 包

  • 锁的实现是通过操作系统来实现的,属于系统调用
  • atomic 操作是通过硬件实现,效率比锁更高
  • sync.Mutex 应该用来保护一段逻辑,不仅仅用于保护一个变量
  • 对于非数值操作,可以使用 atomic.Value,能承载一个 interface{}
type atomicCounter struct{
    i int32
}
func AtomicAddOne(c *atomicCounter){
    atomic.AddInt32(&c.i,1)
}
// BenchmarkAtomicAddOne-8     75244544               13.74 ns/op            4 B/op          1 allocs/op

type mutexCounter struct{
    i int32
    m sync.Mutex
}
func MutexAddOne(c *mutexCounter){
    c.m.Lock()
    c.i++
    c.m.Unlock()    
}
//BenchmarkMutexAddone-8     38081697                28.33 ns/op           16 B/op          1 allocs/op
// 用 Atomic 可以显著提高性能

小结

  • 避免 常见的性能陷阱可以保证大部分程序的性能
  • 对于普通应用代码,不要一味地追求程序的性能
  • 越高级的性能优化手段越容易出现问题
  • 在满足正确可靠、简洁清晰的质量要求的前提下提高程序性能

性能调优实战

性能调优原则

  • 依靠数据而不是猜测
  • 要定位最大瓶颈而不是细枝末节
  • 不要 过早优化
  • 不要 过度优化

性能分析工具 pprof

  • pprof 是用于 可视化分析性能分析数据 的工具
  • 通过 pprof 可以知道什么地方耗费了多少 CPU、Memory
    • 支持分析 - Profile。可分析网页、可视化终端
    • 支持采样 - Sample 不同类型的数据,如 CPU、堆内存-Heap、协程-Goroutine、锁-Mutex、阻塞-Block、线程创建-ThreadCreate。