性能优化 ｜ 青训营

Seamon
1,145 阅读6分钟

简介

  • 性能优化的前提是满足正确可靠、简洁清晰等质量因素
    • 性能优化是一项重要的任务，它可以提升程序的执行效率和资源利用，从而改善用户体验和系统响应速度。然而，在进行性能优化之前，我们必须确保程序的正确可靠、简洁清晰等质量因素已经得到满足。这包括代码的正确性、可读性和可维护性等方面。
  • 性能优化是综合评估，有时候时间效率和空间效率可能对立
    • 性能优化是一个综合评估的过程，需要综合考虑多个因素。有时候，时间效率和空间效率之间可能存在对立。例如，为了提高时间效率，我们可能会选择使用更复杂的数据结构或算法，但这可能会增加程序的内存占用。因此，在进行性能优化时，我们需要权衡这些因素，根据具体情况做出合适的选择。

性能调优原则

  • 要依靠数据不是猜测
    • 数据来源：使用性能监控工具、分析日志或者进行基准测试。
  • 要定位最大瓶颈而不是细枝末节
  • 不要过早优化
    • 在开发初期，重点应该放在代码的正确性、可读性和可维护性上，而不是过于关注性能问题。因为过早优化容易增加复杂性，降低代码的可读性和可维护性。只有在确实遇到性能问题时，才有必要进行性能优化。
  • 不要过度优化
    • 过度优化是指在性能调优过程中过度投入资源和精力，以至于得不偿失。性能调优应该是一个综合考虑的过程，需要权衡各种因素：包括代码的简洁性、可读性、可维护性、开发周期和预期性能提升等。

性能分析工具

Benchmark

当进行性能调优时，Benchmark是一个非常有用的性能分析工具。它可以帮助我们评估和比较不同代码实现的性能，并提供可靠的性能测量数据。在Go语言中，标准库内置了一套基准测试框架，可以方便地进行性能测试和分析。

基准函数

基准函数是用来进行性能测试的函数，它以 Benchmark 开头，并且接受一个 *testing.B 类型的参数。示例代码如下：

func BenchmarkFunction(b *testing.B) {
    for i := 0; i < b.N; i++ {
        // 执行需要测试的代码
    }
}

在基准函数中，我们可以使用 b.N 来确定测试代码的运行次数，以便进行准确的统计和比较。

单元测试

当涉及到软件开发中的质量保证和代码可靠性时，单元测试是一种非常重要的测试方法。单元测试的目标是对软件中最小的可测试单元进行测试，通常是函数或方法。它可以帮助我们验证代码逻辑的正确性，提供自我检查的机制，并在修改代码时提供快速反馈。

测试函数

testing是Go语言的一个包，它将提供自动化测试的功能，通过go test命令能够自动执行如下形式的函数：

func TestXxx(*testing.T) {
    // 执行需要测试的代码
    // 使用 t.Error 或 t.Fail 函数判断测试是否通过
}

其中Xxx可以是任何字母、数字、字符串，但是第一个字母一定不能是小写字母。在这些函数中，使用Error，Fail或相关方法来返回失败信号。 要编写一个新的测试模块，需要创建一个名称以_test.go为结尾的文件，该文件包含TestXxx函数，最后将该文件放在与被测试的包相同的包目录中。

测试运行

使用 go test 命令可以运行单元测试。例如，我们可以通过以下命令运行名为 TestFunction 的单元测试函数：

go test -run TestFunction

运行单元测试时，测试框架会自动执行指定的测试函数，并输出测试结果。

断言

在测试函数中，我们经常使用断言函数来比较实际结果和期望结果是否一致。测试框架提供了一组内置的断言函数，例如 t.Logf、t.Errorf 和 t.Fatalf 等。

例如，我们可以使用 t.Logf 函数输出一些调试信息，使用 t.Errorf 函数标记测试失败，并使用 t.Fatalf 函数在测试失败时终止测试执行。

测试运行

使用 go test 命令可以运行基准测试。

例如，我们可以通过以下命令运行名为 BenchmarkFunction 的基准测试函数：

go test -bench=BenchmarkFunction

或使用以下命令来运行所有基准测试函数：

go test -bench=. -benchmem

Pasted image 20230729194015.png

运行基准测试时，框架会自动迭代运行基准函数，统计执行时间，并生成性能报告。

性能报告

基准测试运行完成后，框架会生成性能报告，其中包括执行时间、每次操作的平均耗时和内存分配等信息。这些报告可以帮助我们评估和比较不同代码实现的性能优劣。

通过使用基准测试框架，我们可以定量地衡量不同代码实现的性能，并快速找出性能瓶颈。它对于验证性能优化的有效性、进行代码重构和比较不同算法的性能等方面都非常有帮助。

pprof

pprof 是用于可视化和分析性能分析数据的工具, 可以知道应用在什么地方耗费了多少CPU和内存

CPU分析

通过 CPU 分析，可以了解程序在执行过程中的 CPU 使用情况，找到 CPU 密集型的代码区域和函数。CPU 分析提供了两种不同的方式：

  • go test -cpuprofile=cpu.prof：运行测试并生成 CPU 分析文件。
  • go tool pprof cpu.prof：通过交互式命令行界面加载 CPU 分析文件，并进行分析。

在 pprof 命令行界面中，可以使用 top、list、web 等命令查看排名前的函数、源代码和可视化调用图，并定位到 CPU 使用较高的代码片段。

内存分析

通过内存分析，可以了解程序的内存使用情况，查找内存泄漏或过度分配的问题。内存分析同样提供了两种方式：

  • go test -memprofile=mem.prof：运行测试并生成内存分析文件。
  • go tool pprof mem.prof：通过交互式命令行界面加载内存分析文件，并进行分析。

在 pprof 命令行界面中，可以使用 top、list、web 等命令查看内存分配、对象分配和堆栈跟踪信息。还可以生成火焰图（Flame Graph）来可视化内存使用情况。

性能优化建议

切片(Slice)

  • slice预分配内存 尽可能在使用make()初始化切片时提供容量信息
make([]int, 0)  -->  make([]int, 0, size)

原因

  • 切片具有动态大小，可以更高效地处理元素的增加和删除。
  • 切片本质是一个数组片段的描述，包括数组指针、片段的长度、片段的容量(不改变内存分配情况下的最大长度)
  • 切片操作并不复制切片指向的元素
  • 创建一个新的切片会复用原来切片的底层数组

Pasted image 20230729194732.png避免额外分配

另一个陷阱: 大内存未释放

在已有切片基础上创建切片，不会创建新的底层数组 场景:

  1. 原切片较大，代码在原切片基础上新建小切片
  2. 原底层数组在内存中有引用，得不到释放 可使用copy替代 re-slice

映射(Map)

  • 在需要快速的查找、插入和删除操作时，使用映射而不是遍历切片或数组。

    分析

  • 不断向map 中添加元素的操作会触发map 的扩容

  • 提前分配好空间可以减少内存拷贝和 Rehash的消耗

  • 建议根据实际需求提前预估好需要的空间

字符串处理

"+" < strings.Builder ≈ bytes.Buffer < strings.Buffer 分析

  • 字符串在Go语言中是不可变类型，占用内存大小是固定的
  • 使用＋每次都会重新分配内存
  • strings.Builder，bytes.Buffer 底层都是\[]byte 数组
  • 内存扩容策略，不需要每次拼接重新分配内存
  • bytes.Buffer 转化为字符串时重新申请了一块空间
  • strings.Builder直接将底层的\[]byte 转换成了字符串类型返回

空结构体

空结构体struct实例不占据任何的内存空间可作为各种场景下的占位符使用

  • 节省资源

  • 空结构体本身具备很强的语义，即这里不需要任何值，仅作为占位符

  • 实现 Set，可以考虑用map 来代替

  • 对于这个场景，只需要用到map的键，而不需要值

  • 即使是将map 的值设置为bool类型，也会多占据1个字节空间

atomic包(多线程编程)

保证技术准确、线程安全

使用加锁:

type mutexCounter struct {
	i int32
	m sync.Mutex
}
func MutexAdd0ne( c *mutexCounter ) {
	c.m.Lock( )
	c.i++
	c.m.Unlock( )
}

使用atomic包:

type atomiccounter struct i
	i int32
}
func AtomicAddOne(c*atomicCounter) {
	atomic.AddInt32(&c.i，1)
}

分析

  • 锁的实现是通过操作系统来实现，属于系统调用
  • atomic操作是通过硬件实现，效率比锁高
  • sync.Mutex应该用来保护一段逻辑，不仅仅用于保护一个变量
  • 对于非数值操作，可以使用atomic.Value，能承载一个interface{}

小结

  • 避免常见的性能陷阱可以保证大部分程序的性能
    • 包括使用切片和映射来提高元素的增加和删除操作效率，避免频繁的字符串连接操作，将字符串转换为可修改的 []byte 类型进行修改，以及使用空结构体来减少内存占用等。
  • 普通应用代码，不要一味地追求程序的性能
    • 包括使用切片和映射来提高元素的增加和删除操作效率，避免频繁的字符串连接操作，将字符串转换为可修改的 []byte 类型进行修改，以及使用空结构体来减少内存占用等。
  • 越高级的性能优化手段越容易出现问题
    • 在使用高级的性能优化手段时，需要更谨慎，并进行充分的测试和验证。平衡性能优化和代码的可理解性和可维护性之间的关系，确保在性能提升和代码可靠性之间取得平衡。
  • 在满足正确可靠、简洁清晰的质量要求的前提下提高程序性能
    • 性能优化应该建立在正确实现和合理的算法选择的基础上，并在经过充分测试和评估之后进行。

总之，性能优化是一个综合考虑多个因素的过程。在实际应用中，我们需要根据具体的情况和需求进行权衡，找到适合的性能优化策略，并确保在提高性能的同时不牺牲代码的可读性和可维护性。

avatar
文章
阅读
粉丝