数据结构与算法的特点
最快的排序算法
- Python:timsort
- C++:introsort
- Rust:pdqsort
经典排序算法
- 插入排序:将元素不断插入已经排序好的array中,不断交换,直到找到第一个比其小的元素。
- 缺点:平均和最坏情况的时间复杂度高达O(n^2)
- 优点:最好情况时间复杂度为O(n)
- 快速排序:分治思想,不断分割序列直至序列整体有序,选定一个pivot(轴点),使用pivot分割序列,分成元素比pivot大和元素比pivot小两个序列。
- 缺点:最坏情况的时间复杂度高达O(n^2)
- 优点:最好和平均情况的时间复杂度为O(n*logn)
- 堆排序:利用堆的性质形成的排序算法。构造一个大顶堆,将根节点(最大元素)交换到最后一个位置,调整整个堆,如此反复。
- 缺点:最好情况的时间复杂度高达O(n*logn)
- 优点:所有情况的时间复杂度都为O( n*logn)
- 总结:插入排序性能不好,快速排序整体性能处于中间层次,堆排序性能稳定。
实际场景 benchmark
- 根据序列元素排列情况划分:
- 完全随机的情况 Random
- 有序/逆序的情况 sorted/reverse
- 元素重复度较高的情况 mod8
Random
- 插入排序在短序列中速度最快
- 快速排序在其他情况中速度最快
- 堆排序速度与最快算法差距不大
sorted
- 插入排序在序列已经有序的情况下速度最快
总结
- 所有短序列和元素有序情况下,插入排序性能最好(单车)
- 在大部分的情况下,快速排序有较好的综合性能(汽车)
- 几乎在任何情况下,堆排序的表现都比较稳定(地铁)
从零开始打造 pdqsort
pattern-defeating-quicksort,是一种不稳定的混合排序算法。
pdqsort version 1
结合三种排序方法的优点:
- 对于短序列(12~32,不同语言和场景会有不同,在泛型版本根据测试选定24),我们使用插入排序
- 其他情况,使用快速排序来保证整体性能(当最终pivot位置离序列两端很接近,即距离小于length/8时判定为其表现不佳,当这种情况的次数达到limit,即bits.Len(length)时,切换到堆排序)
- 当快速排序表现不佳时,使用堆排序来保证最坏情况下时间复杂度仍然为O(n*logn)
pdqsort version 2
优化:思考关于pivot的选择
- 使用单个元素作为pivot(最简单的方案):实现简单,但是往往效果不好,例如在sorted情况下性能很差
- 遍历数组,寻找真正的中位数:遍历比对代价很高,性能不好
- 应该使寻找pivot所需要的开销和pivot带来的性能优化相平衡,寻找近似中位数
总结
- 在短序列(<=8)时,选择固定元素
- 中序列(<=50),采样三个元素,median of three
- 长序列(>50),采样九个元素,median of medians
突破
pivot的采样方式使得我们有探知序列当前状态的能力:
- 采样的元素都是逆序排列->序列可能已经逆序->翻转整个序列
- 采样的元素都是顺序排序->序列可能已经有序->使用插入排序
version1 升级到 version 2 优化总结
- 升级pivot选择策略(近似中位数)
- 发现序列可能逆序,则翻转序列->应对reverse场景
- 发现序列可能有序,使用有限插入排序->应对sorted场景
final version(Go1.19 default)
优化:如何优化重复元素很多的情况?
- 如果两次partition生成的pivot相同,即partition进行了无效分割,此时认为pivot的值为重复元素(采样率更高)
总结
- 重复元素较多时(partitionEqual) 当检测到此时的pivot和上次相同时(发生在leftSubArray),使用partitionEqual将重复元素排列在一起,减少重复元素对于pivot选择的干扰。
- pivot选择策略表现不佳时,随机交换元素 避免一些极端情况使得QuickSort总是表现不佳,以及一些黑客攻击情况。
课程总结
- 高性能的排序算法设计:根据不同情况选择不同策略,取长补短