从零开始打造pdqsort实践 | 青训营笔记

TTK
169 阅读3分钟

这是我参与「第三届青训营 -后端场」笔记创作活动的第2篇笔记

1、pdqsort简介

pdqsort (pattern- defeating-quicksort) 是一种不稳定的混合排序算法，它的不同版本被应用在C++、BOOST、Rust 以及Go 1.19中。它对常见的序列类型做了特殊的优化，使得在不同条件下都拥有不错的性能

高效的排序算法是如何设计的？

简单来说就是根据不同的情况选择不同的策略，取长补短。经过上一篇笔记的分析 经典排序算法比较｜青训营笔记，可以结合插入排序、快速排序、堆排序三种方法的优点来实现pdqsort

  • 对于短序列(小于一 定长度)我们使用插入排序
  • 其他情况，使用快速排序来保证整体性能
  • 当快速排序表现不佳时，使用堆排序来保证最坏情况下时间复杂度仍然为 O(n∗logn)O(n*logn)

2、pdqsort-version1

思考

短序列的具体长度是多少呢?

  • 12 ~ 32，在不同语言和场景中会有不同，在泛型版本根据测试选定24

如何得知快速排序表现不佳，以及何时切换到堆排序?

  • 当最终pivot的位置离序列两端很接近时(距 离小于length/8)判定其表现不佳，当这种情况的次数达到limit (即bits.L en(length))时，切换到堆排序

方案

image.png

  • 对于短序列(<=24) 我们使用插入排序
  • 其他情况，使用快速排序(选择首个元素作为pivot)来保证整体性能
  • 当快速排序表现不佳时(limit==0)，使用堆排序来保证最坏情况下时间复杂度仍然为 O(n∗logn)O(n*logn)

3、pdqsort-version2

思考

如何让pdqsort速度更快?

  • 尽量使得QuickSort的pivot为序列的中位数->改进choose pivot
  • Partition速度更快->改进partition,但是此优化在Go表现不好，略

思考如何选择pivot？

  • 使用首个元素作为pivot(最简单的方案)实现简单，但是往往效果不好，例如在sorted情况下性能很差
  • 遍历数组，寻找真正的中位数遍历比对代价很高，性能不好
  • 需要平衡 寻找pivot的开销 和 pivot所带来的性能优化

方案

image.png

根据序列长度的不同，优化Pivot的选择

  • 短序列(<=8)，选择固定元素（其实在pdqsort中，短序列直接就用插入脾虚 ）
  • 中序列(<=50)，采样三个元素，选中位数（median of three）
  • 长序列(>50)，采样九个元素，选中位数（median of medians）
  • Pivot的采样方式使得我们有探知序列当前状态的能力!
    • 采样的元素都是逆序排列 -> 序列可能已经逆序 -> 翻转整个序列
    • 采样的元素都是顺序排列 -> 序列可能已经有序 -> 使用有限制次数的插入排序

3、pdqsort - final version

思考

如何优化重复元素很多的情况?

  • 采样pivot的时候检测重复度? 不是很好，因为采样数量有限，不一定能采样到相同元素
  • 如果两次partition 生成的pivot相同，即partition 进行了无效分割，此时认为pivot的值为重复元素(相比上一种方法有更高的采样率)

方案

image.png

优化重复元素较多的情况(partitionEqual)

  • 当检测到此时的pivot和上次相同时(发生在leftSubArray)使用partitionEqual将重复元素排列在一起，减少重复元素对于pivot选择的干扰

优化-当pivot选择策略表现不佳时，随机交换元素

  • 避免一些极端情况使得QuickSort总是表现不佳，以及一些黑客攻击情况

最后的实现源码可以参考 go/zsortinterface.go at master · golang/go · GitHub

avatar
文章
阅读
粉丝