这是我参与「第五届青训营 」伴学笔记创作活动的第 15 天
本文为青训营课程笔记，配合原课程食用效果更佳哦~
从零开始打造 pdqsort课程笔记
一、pdqsort - 简介
pdqsort (pattern-defeating-quicksort)
是一种不稳定的混合排序算法，它的不同版本被应用在 C++ BOOST、
Rust 以及 Go 1.19 中。它对常见的序列类型做了特殊的优化，使得在不
同条件下都拥有不错的性能
二、pdqsort - version1
结合三种排序方法的优点
- 对于短序列（小于一定长度）我们使用插入排序
- 其他情况，使用快速排序来保证整体性能
- 当快速排序表现不佳时，使用堆排序来保证最坏情况下时间复杂度仍然为 O(n*logn)
Q&A
-
短序列的具体长度是多少呢？
- 12 ~ 32，在不同语言和场景中会有不同，在泛型版本根据测试选定 24
-
如何得知快速排序表现不佳，以及何时切换到堆排序？
- 当最终 pivot 的位置离序列两端很接近时（距离小于 length/8）判定其表现不佳，当这种情况的次数达到 limit ( 即 bits.Len(length)) 时，切换到堆排序
如何让 pdqsort 速度更快？
- 尽量使得 QuickSort 的 pivot 为序列的中位数 -> 改进 choose pivot
- Partition 速度更快 -> 改进 partition ，但是此优化在 Go 表现不好，略
三、pdqsort - version2
思考关于 pivot 的选择
-
使用首个元素作为 pivot （最简单的方案）
- 实现简单，但是往往效果不好，例如在 sorted 情况下性能很差
-
遍历数组，寻找真正的中位数
- 遍历比对代价很高，性能不好
-
寻找 pivot 所需要的开销 平衡 pivot 带来的性能优化
- 寻找近似中位数！
根据序列长度的不同，来决定选择策略
优化-Pivot 的选择
- 短序列(<=8)，选择固定元素
- 中序列(<=50)，采样三个元素，median of three
- 长序列(>50)，采样九个元素，median of medians
Pivot 的采样方式使得我们有探知序列当前状态的能力！
采样的元素都是顺序排列
序列可能已经有序
采样的元素都是逆序排列
序列可能已经逆序
使用插入排序
翻转整个序列
注：插入排序实际使用 partialInsertionSort，即有限制次数的插入排序
-
Version1 升级到 version2 优化总结
- 升级 pivot 选择策略（近似中位数）
- 发现序列可能逆序，则翻转序列 -> 应对 reverse 场景
- 发现序列可能有序，使用有限插入排序 -> 应对 sorted 场景
四、pdqsort - final version
还有什么场景我们没有优化?
- 短序列情况
- 使用插入排序(v1)
- 极端情况
- 使用堆排序保证算法的可行性(v1)
- 完全随机的情况（random）
- 更好的 pivot 选择策略(v2)
- 有序/逆序的情况（sorted/reverse）
- 根据序列状态翻转或者插入排序(v2)
- 元素重复度较高的情况（mod8）
如何优化重复元素很多的情况？
- 采样 pivot 的时候检测重复度？
- 不是很好，因为采样数量有限，不一定能采样到相同元素
解决方案：
- 如果两次 partition 生成的 pivot 相同，即 partition 进行了无效分割，此时认为 pivot 的值为重复元素（相比上一种方法有更高的采样率）
优化-重复元素较多的情况(partitionEqual)
当检测到此时的 pivot 和上次相同时（发生在 leftSubArray），使用 partitionEqual 将重复元素排列在一起，减重复元素对于 pivot选择的干扰
优化-当 pivot 选择策略表现不佳时，随机交换元素
避免一些极端情况使得 QuickSort 总是表现不佳，以及一些黑客攻击情况
一台云服务器上的测试
- 在有序或者逆序情况下提升 10x
- 其他情况下有 10 ~ 50 % 提升
小结
高性能的排序算法是如何设计的？
- 根据不同情况选择不同策略，取长补短
生产环境中使用的的排序算法和课本上的排序算法有什么区别？
- 理论算法注重理论性能，例如时间、空间复杂度等。生产环境中的算法需要面对不同的实践场景，更加注重实践性能
Go 语言(<=1.18)的排序算法是快速排序么？
- 实际一直是混合排序算法，主体是快速排序。Go <= 1.18 时的算法也是基于快速排序，和 pdqsort 的区别在于 fallback 时机、pivot 选择策略、是否有针对不同 pattern 优化等
总结收获
通过样例与知识点结合的方式，学到了一些 排序设计原理知识 ；
通过样例的讲解，更了解了具体的 排序设计方法 ；
又是收获满满的一天
引用参考
青训营官方课程视频
青训营官方课程文档
青训营官方课程笔记
