GoLang工程实践与性能优化|青训营笔记

Louieeeee
172 阅读7分钟

这是我参与「第三届青训营 -后端场」笔记创作活动的的第2篇笔记

第二次课 工程实践

Goroutine 协程

  • 并发 VS 并行

    • 并发：多线程程序在一个核的CPU上运行

      • 宏观上的并发，实则多个程序在微观上仍是先后运行

    • 并行：多线程程序在多个核的cpu上运行

      • 微观上并行，多个程序真正意义上的同时运行

  • 协程

    • 用户态，轻量级线程，栈MB级别

  • 线程

    • 内核态，线程跑多个携程，栈KB级别
  • 创建携程：在函数名前加go关键字，函数就会并行执行

CSP

Communicating Sequential Processes 通信顺序进程

  • 提倡通过通信共享内存而不是通过共享内存而实现通信

Channel

  • make （chan 元素类型，[缓冲大小]）

    • 无缓冲通道 make(chan int)

    • 有缓冲通道 make(chan int, 2)

      • 两者的区别为同步问题，无缓冲通道为同步通道
      • 缓冲区可以用于解决生产和消费的速率问题

并发安全 Lock

加锁使得运算不冲突，得到预想中的结果

WG (WaitGroup)

用于协程同步

  • Add(delta int)

    • 开启协程+1

  • Done()

    • 执行结束-1

  • Wait()

    • 主协程阻塞直到计数器为0

依赖管理

  • GoLang版本选择的算法，GoLang会选择一个最低的兼容版本

暂时无用，以后再补

测试

回归测试->集成测试->单元测试

从左到右，覆盖率逐层变大，成本却逐层降低

第三次课

高质量编程

编写的代码能够达到正确可靠、简介清晰的目标可称之为高质量代码

编码规范

代码格式

  • 推荐使用 gofmt 自动格式化代码

    • 官方提供工具，能自动格式化Go语言代码为官方统一风格

  • goimports

    • 官方提供工具，自动增删依赖包引用、将依赖包按字母序排序并分类
注释

  • should do

    • 解释代码作用

      • 说明公共符号
      • 比如对外提供的函数注释描述它的功能和用途

    • 解释代码如何做的

      • 对代码中复杂的、并不明显的逻辑进行说明

    • 解释代码实现的原因

      • 适合解释代码的外部因素
      • 提供额外上下文

    • 解释代码什么情况会出错

      • 提醒使用者一些潜在的显示条件或者无法处理的情况
      • 性能隐患、输入的限制条件、错误情况等扽
  • 公共符号始终要注释，但不需要注释实现接口的方法
命名规范

  • 简洁胜于冗长

  • 缩略词全大写，但当其位于变量开头且不需要导出时，使用全小写

    • 使用ServeHTTP而不是ServeHttp
    • 使用XMLHTTPRequest或者xmlHTTPRequest

  • 变量距离其被使用的地方越远，则需要携带越多的上下文信息

    • 全局变量的明明要格外详细

  • function

    • 函数名不携带包名的上下文信息，因为包名和函数名总是成对出现
    • 函数名尽量简短

  • package

    • 只有小写字母组成，不包含大写字母和下划线等字符

    • 简短并包含一定的上下文信息

    • 不要与标准库同名

      • 不使用常用变量名作为包名
      • 是用单数而不是复数
      • 谨慎的使用缩写
控制流程
  • 使用if else的时候 避免冗余嵌套
  • 尽量保持正常代码路径为最小缩进
  • 优先处理错误情况/特殊情况，尽早返回或继续循环来减少嵌套
错误和异常处理

error尽可能提供简明的上下文信息链，方便定位问题

  • 简单错误

    • 仅出现一次的错误，且在其他地方不需要捕获该错误
    • 优先使用errors.New来创建匿名变量来直接表示简单错误
    • 如果有格式化需求，使用fmt.Errorf

  • 错误的Wrap和Unwrap

    • 错误的Wrap实际上是提供了一个error嵌套另一个error的功能从而形成一个error的跟踪链
    • 在fmt.Errorf中使用：%w 关键之来将一个错误关联到错误链中
    • if err != nil {
    return fmt.Errorf("reading srcfiles list :%w", err)
}

  • 错误判定

    • 判定一个错误是否为特定错误，使用error.Is
    • 不同于使用==，使用该方法可以判定错误链上的所有错误是是否含有特定的错误
    • data, err = lockedfile.Read(targ)
if errors.Is(err, fs.ErrNotExist){
    return []byte{}, nil
}
return data, err

  • 错误判定

    • 在错误链上获取特定种类的错误，使用errors.As
    • if _, err := os.Open("non-existing"); err != nil{
    var pathError *fs.PathError
    if errors.As(err, &pathError){
        fmt.Println("Failed at path:", pathError.Path)
    }else{
        fmt.Println(err)
    }
}

  • panic（用于真正异常的情况）

    • 不建议在业务代码中使用panic
    • 调用函数不包含recover会造成程序崩溃
    • 若问题可以被屏蔽或解决，建议使用error
    • 当程序启动阶段发生不可逆转的错误时，可以在init或main函数中使用panic

  • recover

    • 嵌套无法生效
    • defer语句后进先出
    • 如果需要更多的上下文信息，可以recover后在log中记录当前的调用栈
    • 生效范围，在当前的goroutine的被defer函数中生效

性能优化建议

  • slice 预分配内存

    • 尽量在使用make()初始化切片时提供容量信息

    • 切片本质时一个数组片段的藐视

      • 包括数组指针
      • 片段长度
      • 片段容量（不改变内存分配情况下的最大长度）

    • 切片操作并不复制切片指向的元素

    • 创建一个新的切片会复用原来切片的底层数组

      • 在已有切片基础上创建切片，不会创建新的底层数组
      • 原切片较大，代码在原切片上新建小切片，导致原底层数组在内存中被引用，得不到释放
      • 使用copy替代re-slice
      • func GetLastBySlice(origin []int) []int {
    return origin[len(origin)-2:]
}
​
func GetLastBySlice(origin []int) []int {
    result := make([]int, 2)
    copy(result, origin[len(origin)-2:])
    return result
}

  • map 预分配内存

    • 分析

      • map会因为添加元素而扩容
      • 提前分配好空间可以减少内存拷贝和Rehash的消耗

  • 字符串处理

    • 使用strings.Builder

    • 使用+拼接性能最差，strings.Builder，bytes.Buffer相近，后者更快、

      • strings.Builde直接将底层的[]byte转化为字符串类型返回
      • bytes.Buffer转化为字符串时重新申请了一块空间

    • 分析

      • Go中字符串属于不可变类型，有固定的占用内存大小
      • 使用 + 每次都会重新分配内存
      • strings.Builder，bytes.Buffer底层都是[]byte数组，内存扩容策略，不需要每次拼接重新分配内存

  • 空结构体

    • 使用空结构体 struct{} 实例不占据任何的内存空间

      • 可作为各种场景下的占位符使用

      • 实现Set可以考虑用map来代替，只要用到map的键，而不需要值

        • 即使是使用bool类型，也会多占据一个字节空间

  • atomic包

    • atomic操作通过硬件实现，效率比锁高

      • 锁的实现是通过操作系统实现，属于系统调用

    • sync.Mutex应该用来保护一段逻辑，不仅仅用于保护一个变量

    • 对于非数值操作，可以使用atomic.Value，能承载一个 interface{}

性能调优实战

  • 性能调优原则

    • 依靠数据而不是猜测
    • 定位最大瓶颈而不是细枝末节
    • 不要过早优化
    • 不要过度优化

pprof

屏幕截图 2022-05-16 141323

  • 直接从GitHub中clone下来的项目是没有go.mod文件的，而go1.18强制使用module来管理项目，所以需要我们自己生成go.mod文件，具体运行以下命令

    • go mod init github.com/wolfogre/go-pprof-practice go mod tidy

    • 会生成如下的go.mod文件

      • module github.com/wolfogre/go-pprof-practice

    • module名字不能修改

\

avatar
文章
阅读
粉丝