> 字节跳动青训营讲师非常用心给大家整理了课前、中、后的学习内容，同学们自我评估，选择性查漏补缺，便于大家更好的跟上讲师们的节奏，祝大家学习愉快，多多提问交流～ # Go 语言基础 - 基础语法 ## 概述本节课程主要分为四个方面： 1. Go 语言简介 1. Go 语言开发入门，包括开发环境配置、基础语法、标准库 1. Go 实战，包括三个实战项目课前部分主要罗列课程中涉及到的概念。对于不熟悉的概念，同学们可以提前查询预习；课中部分主要罗列每一部分的关键思路，帮助同学们跟上课程的进度；课后部分是一些问题，帮助同学们在课后梳理本课程的重点。 ## 课前（必须） ### 安装 Go 语言 1. 访问 https://go.dev/ ，点击 Download ，下载对应平台安装包，安装即可 1. 如果无法访问上述网址，可以改为访问 https://studygolang.com/dl 下载安装 1. 如果访问 github 速度比较慢，建议配置 go mod proxy，参考 https://goproxy.cn/ 里面的描述配置，下载第三方依赖包的速度可以大大加快 ### 配置 Go 语言开发环境可以选择安装 [VS Code](https://code.visualstudio.com/) ，或者 [Goland](https://www.jetbrains.com/zh-cn/go/) ，对于 VS Code，需要安装 [Go 插件](https://marketplace.visualstudio.com/items?itemName=golang.go) ### 下载课程示例代码 1. Windows 平台建议安装 git，其它系统自带，[安装教程](https://www.liaoxuefeng.com/wiki/896043488029600/896067074338496) 1. 打开 https://github.com/wangkechun/go-by-example 克隆课程示例项目 1. 进入课程示例项目代码目录，运行 `go run example/01-hello/main.go` 如果正确输出 hello world，则说明环境配置正确 ### 【可选】学习 Go 语言基础语法空余时间阅读 [Go语言圣经（中文版）](https://books.studygolang.com/gopl-zh/) ## 课后 [Go 语言学习路线图](https://bytedance.feishu.cn/docs/doccn3SFTuFIAVr4CDZGx48KKdd) # Go 语言进阶 - 工程进阶 ## 概述本节课程主要分为四个方面： 1. 并发编程 1. 依赖管理 1. 单元测试 1. 项目实战 ## 详述 - 罗列课程中涉及到的概念和相关资料，对于不熟悉的知识点，希望同学们可以提前查询预习，届时跟上直播课程进度。 - 【必须】课程内容相关代码链接：https://github.com/Moonlight-Zhao/go-project-example/tree/V0 ## 并发编程 - 协程Goroutine - 通道Channel - 锁Lock https://pkg.go.dev/sync - 线程同步WaitGroup https://pkg.go.dev/sync 属于编程进阶内容，考虑到工程项目的可用性和可靠性，工程实践中经常会用到。 ### 依赖管理 - Gopath - Go Vendor - Go Module : https://go.dev/blog/using-go-modules 了解Go依赖管理演进的历程，通过课程学习以及课后实践能能够熟练使用go module 管理依赖。 ### 单元测试 - 单元测试概念和规则：https://go.dev/doc/tutorial/add-a-test；https://pkg.go.dev/testing - Mock测试：https://github.com/bouk/monkey - 基准测试：https://pkg.go.dev/testing#hdr-Benchmarks ### 项目实战 **需求模型来源** 青训营话题页https://forum.juejin.cn/youthcamp/post/7081211487762513928?from=1 **需求** 1. 实现一个展示话题（标题，文字描述）和回帖列表的后端http接口； 1. 本地文件存储数据 **组件及技术点** - web框架：Gin - https://github.com/gin-gonic/gin#quick-start - 了解go web框架的简单使用 - 分层结构设计：https://github.com/bxcodec/go-clean-arch - 了解分层设计的概念 - 文件操作：读文件https://pkg.go.dev/io - 数据查询：索引https://www.baike.com/wikiid/5527083834876297305?prd=result_list&view_id=5di0ak8h3ag000 ## 课后实践 1. 支持对话题发布回帖。 1. 回帖id生成需要保证不重复、唯一性。 1. 新加回帖追加到本地文件，同时需要更新索引，注意Map的并发安全问题 **。** # Go 框架三件套详解(Web/RPC/ORM) ## 环境搭建部分 > 搭建课程所需要的开发环境以及安装需要用到的软件。 ### 学习如何安装 Docker/Postman/Git/Golang - 安装 Minikube 或 Docker Desktop 用于使用 Docker [安装教程](https://www.runoob.com/docker/windows-docker-install.html) - 可以使用 Minikube 或者使用 Docker Desktop 启动 Docker - 安装 Postman - 安装 Git [安装教程](https://www.liaoxuefeng.com/wiki/896043488029600/896067074338496) - 安装 Go(Golang >= 1.15) [安装教程](https://go.dev/doc/install) ## 框架体验部分 > 提前体验一下课程涉及的 HTTP/RPC/ORM 框架 ### HTTP 框架 Hertz 初体验通过阅读尝试运行 Hertz 的示例代码 - Hertz 框架地址: https://github.com/cloudwego/hertz ### RPC 框架 Kitex 初体验通过阅读 https://www.cloudwego.io/zh/docs/kitex/getting-started/ 尝试运行 Kitex 的示例代码 - kitex 暂时没有针对 Windows 做支持，如果本地开发环境是 Windows 建议使用 [WSL2](https://docs.microsoft.com/zh-cn/windows/wsl/install) - KItex 框架地址: https://github.com/cloudwego/kitex/ ### ORM 框架 Gorm 初体验通过阅读 https://gorm.cn/docs/#Install 尝试运行 Gorm 的示例代码 - Gorm 框架地址: https://github.com/go-gorm/gorm ## 其它知识 > - 了解一下什么IDL以及IDL的语法 > - 了解一下什么是 opentracing 以及 etcd ### Etcd 与 Opentracing 是什么 - 了解 etcd 是什么 [参考文档]() - 了解 opentracing 是什么 [参考文档]() ### IDL 是什么 - 了解 IDL 是什么 https://zh.m.wikipedia.org/zh-hans/%E6%8E%A5%E5%8F%A3%E6%8F%8F%E8%BF%B0%E8%AF%AD%E8%A8%80 - Thrift IDL 语法 https://thrift.apache.org/docs/idl - proto3 IDL 语法 https://developers.google.com/protocol-buffers/docs/proto3 # 高质量编程与性能调优实战 ## 课程概述 - 介绍编码规范，帮助大家写出高质量程序 - 介绍 Go 语言的性能优化建议，分析对比不同方式对性能的影响和背后的原理 - 讲解常用性能分析工具 pprof 的使用和工作原理，熟悉排查程序性能问题的基本流程 - 分析性能调优实际案例，介绍实际性能调优时的工作内容 ## 课前 - 课程内容概要 ![image.png](https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/551a67231c244f4aad77cbaabc10e2cf~tplv-k3u1fbpfcp-watermark.image?) ### 实践准备 (必须) - 克隆 https://github.com/wolfogre/go-pprof-practice 到本地，保证能够编译运行 - 尝试使用 test 命令，编写并运行简单测试 https://go.dev/doc/tutorial/add-a-test - 尝试使用 -bench 参数，对编写的函数进行性能测试，https://pkg.go.dev/testing#hdr-Benchmarks ### 推荐阅读 - Go 代码 Review 建议https://github.com/golang/go/wiki/CodeReviewComments - Uber 的 Go 编码规范，https://github.com/uber-go/guide ## 课中 ### 高质量编程 #### 简介 - 编写的代码能够达到正确可靠、简洁清晰、无性能隐患的目标就能称之为高质量代码 - 实际应用场景千变万化，各种语言的特性和语法各不相同，但是高质量编程遵循的原则是相通的 - 高质量的编程需要注意以下原则：简单性、可读性、生产力 #### 常见编码规范 ##### 代码格式 - 使用 gofmt 自动格式化代码，保证所有的 Go 代码与官方推荐格式保持一致 **总结** - 提升可读性，风格一致的代码更容易维护、需要更少的学习成本、团队合作成本，同时可以降低 Review 成本 ##### 注释 - 注释应该解释代码作用 - 适合注释公共符号，https://github.com/golang/go/blob/master/src/os/file.go#L313 - 注释应该解释代码如何做的 - 适合注释方法，https://github.com/golang/go/blob/master/src/net/http/client.go#L678 - 注释应该解释代码实现的原因 - 解释代码的外部因素，https://github.com/golang/go/blob/master/src/net/http/client.go#L521 - 注释应该解释代码什么情况会出错 - 公共符号始终要注释 - 包中声明的每个公共的符号：变量、常量、函数以及结构都需要添加注释 - https://github.com/golang/go/blob/master/src/io/io.go#L638 - https://github.com/golang/go/blob/master/src/io/io.go#L455 **总结** - 代码是最好的注释 - 注释应该提供代码未表达出的上下文信息 ##### 命名规范 - variable - 简洁胜于冗长 - 缩略词全大写，但当其位于变量开头且不需要导出时，使用全小写 - 变量距离其被使用的地方越远，则需要携带越多的上下文信息 - 全局变量在其名字中需要更多的上下文信息，使得在不同地方可以轻易辨认出其含义 - function - 函数名不携带包名的上下文信息，因为包名和函数名总是成对出现的 - 函数名尽量简短 - 当名为 foo 的包某个函数返回类型 Foo 时，可以省略类型信息而不导致歧义 - 当名为 foo 的包某个函数返回类型 T 时（T 并不是 Foo），可以在函数名中加入类型信息 - package - 只由小写字母组成。不包含大写字母和下划线等字符 - 简短并包含一定的上下文信息。例如 schema、task 等 - 不要与标准库同名。例如不要使用 sync 或者 strings **总结** - 关于命名的大多数规范核心在于考虑上下文 - 人们在阅读理解代码的时候也可以看成是计算机运行程序，好的命名能让人把关注点留在主流程上，清晰地理解程序的功能，避免频繁切换到分支细节，增加理解成本 ##### 控制流程 - 避免嵌套，保持正常流程清晰 - 如果两个分支中都包含 return 语句，则可以去除冗余的 else - 尽量保持正常代码路径为最小缩进，优先处理错误情况/特殊情况，并尽早返回或继续循环来减少嵌套，增加可读性 - Go 公共库的代码 - https://github.com/golang/go/blob/master/src/bufio/bufio.go#L277 **总结** - 线性原理，处理逻辑尽量走直线，避免复杂的嵌套分支 - 提高代码的可读性 ##### 错误和异常处理 - 简单错误处理 - 优先使用 errors.New 来创建匿名变量来直接表示该错误。有格式化需求时使用 fmt.Errorf - https://github.com/golang/go/blob/master/src/net/http/client.go#L802 - 错误的 Wrap 和 Unwrap - 在 fmt.Errorf 中使用 %w 关键字来将一个错误 wrap 至其错误链中 - https://github.com/golang/go/blob/master/src/cmd/go/internal/work/exec.go#L983 - > Go1.13 在 errors 中新增了三个新 API 和一个新的 format 关键字，分别是 errors.Is、errors.As 、errors.Unwrap 以及 fmt.Errorf 的 %w。如果项目运行在小于 Go1.13 的版本中，导入 golang.org/x/xerrors 来使用。以下语法均已 Go1.13 作为标准。 - 错误判定 - 使用 errors.Is 可以判定错误链上的所有错误是否含有特定的错误。 - https://github.com/golang/go/blob/master/src/cmd/go/internal/modfetch/sumdb.go#L208 - 在错误链上获取特定种类的错误，使用 errors.As - https://github.com/golang/go/blob/master/src/errors/wrap_test.go#L255 - panic - 不建议在业务代码中使用 panic - 如果当前 goroutine 中所有 deferred 函数都不包含 recover 就会造成整个程序崩溃 - 当程序启动阶段发生不可逆转的错误时，可以在 init 或 main 函数中使用 panic - https://github.com/Shopify/sarama/blob/main/examples/consumergroup/main.go#L94 - recover - recover 只能在被 defer 的函数中使用，嵌套无法生效，只在当前 goroutine 生效 - https://github.com/golang/go/blob/master/src/fmt/scan.go#L247 - 如果需要更多的上下文信息，可以 recover 后在 log 中记录当前的调用栈。 - https://github.com/golang/website/blob/master/internal/gitfs/fs.go#L228 **总结** - panic 用于真正异常的情况 - error 尽可能提供简明的上下文信息，方便定位问题 - recover 生效范围，在当前 goroutine 的被 defer 的函数中生效 #### 性能优化建议 - 在满足正确性、可靠性、健壮性、可读性等质量因素的前提下，设法提高程序的效率 - 性能对比测试代码，可参考 https://github.com/RaymondCode/go-practice - ##### slice 预分配内存 - 在尽可能的情况下，在使用 make() 初始化切片时提供容量信息，特别是在追加切片时 - 原理 - https://ueokande.github.io/go-slice-tricks/ - 切片本质是一个数组片段的描述，包括了数组的指针，这个片段的长度和容量(不改变内存分配情况下的最大长度) - 切片操作并不复制切片指向的元素，创建一个新的切片会复用原来切片的底层数组，因此切片操作是非常高效的 - 切片有三个属性，指针(ptr)、长度(len) 和容量(cap)。append 时有两种场景： - 当 append 之后的长度小于等于 cap，将会直接利用原底层数组剩余的空间 - 当 append 后的长度大于 cap 时，则会分配一块更大的区域来容纳新的底层数组 - 因此，为了避免内存发生拷贝，如果能够知道最终的切片的大小，预先设置 cap 的值能够获得最好的性能 - 另一个陷阱：大内存得不到释放 - 在已有切片的基础上进行切片，不会创建新的底层数组。因为原来的底层数组没有发生变化，内存会一直占用，直到没有变量引用该数组 - 因此很可能出现这么一种情况，原切片由大量的元素构成，但是我们在原切片的基础上切片，虽然只使用了很小一段，但底层数组在内存中仍然占据了大量空间，得不到释放 - 推荐的做法，使用 copy 替代 re-slice - ##### map 预分配内存 - 原理 - 不断向 map 中添加元素的操作会触发 map 的扩容 - 根据实际需求提前预估好需要的空间 - 提前分配好空间可以减少内存拷贝和 Rehash 的消耗 - ##### 使用 strings.Builder - 常见的字符串拼接方式 - \+ - strings.Builder - bytes.Buffer - strings.Builder 最快，bytes.Buffer 较快，+ 最慢 - 原理 - 字符串在 Go 语言中是不可变类型，占用内存大小是固定的，当使用 + 拼接 2 个字符串时，生成一个新的字符串，那么就需要开辟一段新的空间，新空间的大小是原来两个字符串的大小之和 - strings.Builder，bytes.Buffer 的内存是以倍数申请的 - strings.Builder 和 bytes.Buffer 底层都是 []byte 数组，bytes.Buffer 转化为字符串时重新申请了一块空间，存放生成的字符串变量，而 strings.Builder 直接将底层的 []byte 转换成了字符串类型返回 - ##### 使用空结构体节省内存 - 空结构体不占据内存空间，可作为占位符使用 - 比如实现简单的 Set - Go 语言标准库没有提供 Set 的实现，通常使用 map 来代替。对于集合场景，只需要用到 map 的键而不需要值 - ##### 使用 atomic 包 - 原理 - 锁的实现是通过操作系统来实现，属于系统调用，atomic 操作是通过硬件实现的，效率比锁高很多 - sync.Mutex 应该用来保护一段逻辑，不仅仅用于保护一个变量 - 对于非数值系列，可以使用 atomic.Value，atomic.Value 能承载一个 interface{} ##### 总结 - 避免常见的性能陷阱可以保证大部分程序的性能 - 针对普通应用代码，不要一味地追求程序的性能，应当在满足正确可靠、简洁清晰等质量要求的前提下提高程序性能 ### 性能调优实战 #### 性能调优简介 - 性能调优原则 - 要依靠数据不是猜测 - 要定位最大瓶颈而不是细枝末节 - 不要过早优化 - 不要过度优化 #### 性能分析工具性能调优的核心是性能瓶颈的分析，对于 Go 应用程序，最方便的就是 pprof 工具 - ##### pprof 功能说明 - pprof 是用于可视化和分析性能分析数据的工具 - 可以知道应用在什么地方耗费了多少 CPU、memory 等运行指标 ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/b91cd175657042f5ab0430cbc8784172~tplv-k3u1fbpfcp-zoom-1.image) - #### pprof 实践 - https://github.com/wolfogre/go-pprof-practice - 前置准备，熟悉简单指标，能够编译运行 pprof 测试项目 - 实际分析排查过程 - 排查 CPU 问题 - 命令行分析 - go tool pprof "http://localhost:6060/debug/pprof/profile?seconds=10" - top 命令 - list 命令 - 熟悉 web 页面分析 - 调用关系图，火焰图 - go tool pprof -http=:8080 "http://localhost:6060/debug/pprof/cpu" - 排查堆内存问题 - go tool pprof -http=:8080 "http://localhost:6060/debug/pprof/heap" - 排查协程问题 - go tool pprof -http=:8080 "http://localhost:6060/debug/pprof/goroutine" - 排查锁问题 - go tool pprof -http=:8080 "http://localhost:6060/debug/pprof/mutex" - 排查阻塞问题 - go tool pprof -http=:8080 "http://localhost:6060/debug/pprof/block" - ##### pprof 的采样过程和原理 - CPU 采样 - 堆内存采样 - 协程和系统线程采样 - 阻塞操作和锁竞争采样 #### 性能调优案例 - ##### 基本概念 - 服务：能单独部署，承载一定功能的程序 - 依赖：Service A 的功能实现依赖 Service B 的响应结果，称为 Service A 依赖 Service B - 调用链路：能支持一个接口请求的相关服务集合及其相互之间的依赖关系 - 基础库：公共的工具包、中间件 - ##### 业务优化 - 流程 - 建立服务性能评估手段 - 分析性能数据，定位性能瓶颈 - 重点优化项改造 - 优化效果验证 - 建立压测评估链路 - 服务性能评估 - 构造请求流量 - 压测范围 - 性能数据采集 - 分析性能火焰图，定位性能瓶颈 - pprof 火焰图 - 重点优化项分析 - 规范组件库使用 - 高并发场景优化 - 增加代码检查规则避免增量劣化出现 - 优化正确性验证 - 上线验证评估 - 逐步放量，避免出现问题 - 进一步优化，服务整体链路分析 - 规范上游服务调用接口，明确场景需求 - 分析业务流程，通过业务流程优化提升服务性能 - ##### 基础库优化 - 适应范围更广，覆盖更多服务 - AB 实验 SDK 的优化 - 分析基础库核心逻辑和性能瓶颈 - 完善改造方案，按需获取，序列化协议优化 - 内部压测验证 - 推广业务服务落地验证 - ##### Go 语言优化 - 适应范围最广，Go 服务都有收益 - 优化方式 - 优化内存分配策略 - 优化代码编译流程，生成更高效的程序 - 内部压测验证 - 推广业务服务落地验证 ## 课后 - 了解下其他语言的编码规范，是否和 Go 语言编码规范有相通之处，注重理解哪些共同点 - 编码规范或者性能优化建议大部分是通用的，有没有方式能够自动化对代码进行检测？ - 从 https://github.com/golang/go/tree/master/src 中选择感兴趣的包，看看官方代码是如何编写的 - 使用 Go 进行并发编程时有哪些性能陷阱或者优化手段？ - 在真实的线上环境中，每个场景或者服务遇到的性能问题也是各种各样，搜索下知名公司的官方公众号或者博客，里面有哪些性能优化的案例？比如 https://eng.uber.com/category/oss-projects/oss-go/ - Go 语言本身在持续更新迭代，每个版本在性能上有哪些重要的优化点？ ## 参考资料 - 熟悉 Go 语言基础后的必读内容，https://go.dev/doc/effective_go - Dave Cheney 关于 Go 语言编程实践的演讲记录，https://dave.cheney.net/practical-go/presentations/qcon-china.html - 《编程的原则：改善代码质量的101个方法》，总结了很多编程原则，按照是什么 -> 为什么 -> 怎么做进行了说明，https://mp.weixin.qq.com/s/vXSZOl2Gt7wcgq1OL9Cwow - 如何编写整洁的 Go 代码，https://github.com/Pungyeon/clean-go-article - Go 官方博客，有关于 Go 的最新进展，https://go.dev/blog/ - Dave Cheney 关于 Go 语言编程高性能编程的介绍，https://dave.cheney.net/high-performance-go-workshop/dotgo-paris.html - Go 语言高性能编程，博主总结了 Go 编程的一些性能建议， https://geektutu.com/post/high-performance-go.html - Google 其他编程语言编码规范，可以对照参考，https://zh-google-styleguide.readthedocs.io/en/latest/