Go 1.19 排序算法实现 | 青训营笔记

131 阅读4分钟

数据结构与算法的特点

最快的排序算法

  • Python:timsort
  • C++:introsort
  • Rust:pdqsort

经典排序算法

  1. 插入排序:将元素不断插入已经排序好的array中,不断交换,直到找到第一个比其小的元素。
  • 缺点:平均和最坏情况的时间复杂度高达O(n^2)
  • 优点:最好情况时间复杂度为O(n)
  1. 快速排序:分治思想,不断分割序列直至序列整体有序,选定一个pivot(轴点),使用pivot分割序列,分成元素比pivot大和元素比pivot小两个序列。
  • 缺点:最坏情况的时间复杂度高达O(n^2)
  • 优点:最好和平均情况的时间复杂度为O(n*logn)
  1. 堆排序:利用堆的性质形成的排序算法。构造一个大顶堆,将根节点(最大元素)交换到最后一个位置,调整整个堆,如此反复。
  • 缺点:最好情况的时间复杂度高达O(n*logn)
  • 优点:所有情况的时间复杂度都为O( n*logn)
  1. 总结:插入排序性能不好,快速排序整体性能处于中间层次,堆排序性能稳定。

实际场景 benchmark

  1. 根据序列元素排列情况划分:
  • 完全随机的情况 Random
  • 有序/逆序的情况 sorted/reverse
  • 元素重复度较高的情况 mod8

Random

  • 插入排序在短序列中速度最快
  • 快速排序在其他情况中速度最快
  • 堆排序速度与最快算法差距不大

sorted

  • 插入排序在序列已经有序的情况下速度最快

总结

  • 所有短序列和元素有序情况下,插入排序性能最好(单车)
  • 在大部分的情况下,快速排序有较好的综合性能(汽车)
  • 几乎在任何情况下,堆排序的表现都比较稳定(地铁)

从零开始打造 pdqsort

pattern-defeating-quicksort,是一种不稳定的混合排序算法。

pdqsort version 1

结合三种排序方法的优点:

  • 对于短序列(12~32,不同语言和场景会有不同,在泛型版本根据测试选定24),我们使用插入排序
  • 其他情况,使用快速排序来保证整体性能(当最终pivot位置离序列两端很接近,即距离小于length/8时判定为其表现不佳,当这种情况的次数达到limit,即bits.Len(length)时,切换到堆排序)
  • 当快速排序表现不佳时,使用堆排序来保证最坏情况下时间复杂度仍然为O(n*logn)

pdqsort version 2

优化:思考关于pivot的选择

  • 使用单个元素作为pivot(最简单的方案):实现简单,但是往往效果不好,例如在sorted情况下性能很差
  • 遍历数组,寻找真正的中位数:遍历比对代价很高,性能不好
  • 应该使寻找pivot所需要的开销和pivot带来的性能优化相平衡,寻找近似中位数

总结

  • 在短序列(<=8)时,选择固定元素
  • 中序列(<=50),采样三个元素,median of three
  • 长序列(>50),采样九个元素,median of medians

突破

pivot的采样方式使得我们有探知序列当前状态的能力:

  • 采样的元素都是逆序排列->序列可能已经逆序->翻转整个序列
  • 采样的元素都是顺序排序->序列可能已经有序->使用插入排序

version1 升级到 version 2 优化总结

  • 升级pivot选择策略(近似中位数)
  • 发现序列可能逆序,则翻转序列->应对reverse场景
  • 发现序列可能有序,使用有限插入排序->应对sorted场景

final version(Go1.19 default)

优化:如何优化重复元素很多的情况?

  • 如果两次partition生成的pivot相同,即partition进行了无效分割,此时认为pivot的值为重复元素(采样率更高)

总结

  1. 重复元素较多时(partitionEqual) 当检测到此时的pivot和上次相同时(发生在leftSubArray),使用partitionEqual将重复元素排列在一起,减少重复元素对于pivot选择的干扰。
  2. pivot选择策略表现不佳时,随机交换元素 避免一些极端情况使得QuickSort总是表现不佳,以及一些黑客攻击情况。

课程总结

  • 高性能的排序算法设计:根据不同情况选择不同策略,取长补短