pdqsort排序算法基础 | 青训营笔记

112 阅读3分钟

Q1:高性能的排序算法是如何设计的?
A1:根据不同情况选择不同策略,取长补短。
Q2:生产环境中使用的排序算法和课本上的排序算法有什么区别?
A2:理论算法注重理论效能,例如时间、空间复杂度等。生产环境中的算法需要面对不同的实践场景,更加注重实践性能。
Q3:Go 语言(<=1.18)的排序算法是快速排序么?
A3:实际一直是混合排序算法,主体是快速排序。Go <= 1.18 时的算法也是基于快速排序,和 pdqsort 的区别在于 fallback 时机、pivot 选择策略、是否有针对不同 pattern 优化等。

经典排序算法

复现课本上学习到的经典排序算法,讲解它们的原理以及特点

Insertion Sort 插入排序

优点:最好情况时间复杂度为 O(n)
缺点:平均和最坏情况的时间复杂度高达 O(n^2)

Quick Sort 快速排序

分治思想,不断分割序列直到序列整体有序
选定一个 pivot(轴点)
使用 pivot 分割序列,分成元素比 pivot 大和元素比 pivot 小两个序列
优点:平均时间复杂度是O(n*logn)
缺点:最坏情况的时间复杂度高达O(n^2)

Heap Sort 堆排序

利用堆的性质形成的排序算法
·构造一个大顶堆
·将根节点(最大元素)交换到最后一个位置,调整整个堆,如此反复
优点/缺点:最好、最坏以及平均情况的时间复杂度均为O(n*logn)

经典算法理论印象

·插入排序平均和最坏情况时间复杂度都是O(n^2),性能不好
·快速排序整体性能处于中间层次
·堆排序性能稳定,众生平等

实际场景 benchmark

根据序列元素排序情况划分
·完全随机的情况(random)
·有序/逆序的情况(sorted/reverse)
·元素重复度较高的情况(mod8)
在此基础上,还需要根据序列长度的划分(16/128/1024)

Benchmark-random

·插入排序在短序列中速度最快
·快速排序在其他情况中速度最快
·堆排序速度与最快算法差距不大

Benchmark-sorted

插入排序在序列已经有序的情况下最快

实际场景 benchmark 结论

·所有短序列和元素有序情况下,插入排序性能最好
·在大部分的情况下,快速排序有较好的综合性能
·几乎在任何情况下,堆排序的表现都比较稳定

插入排序 ----> 单车
快速排序 ----> 汽车
堆排序 ----> 地铁

设计一个更好的算法?
我们在市内出行的时候,常常会选择多种工具来到达目的地,排序算法是否也可以如此呢?

从零开始打造 pdqsort

从零开始打造目前业界性能一流的排序算法 pdqsort(Pattern-Defeating-QuickSort)
pdqsort(Pattern-Defeating-QuickSort)是一种不稳定的混合排序算法,它的不同版本被应用在 C++ BOOST、Rust 以及 Go 1.19中。它对常见的序列类型做了特殊的优化,使得在不同条件下都拥有不错的性能

pdqsort-version1

结合三种排序方法的优点
·对于短序列(小于一定长度)我们使用插入排序
·其他情况,使用快速排序来保证整体性能
·当快速排序表现不佳时,使用堆排序来保证最坏情况下时间复杂度仍然为 O(n*logn)

Q&A
Q1:短序列的具体长度是多少呢?
A112 ~ 32,在不同语言和场景中会有不同,在泛型版本根据测试选定 24
Q2:如何得知快速排序表现不佳,以及何时切换到堆排序?
A2:当最终 pivot 的位置离序列两端很接近时(距离小于 length/8) 判定其表现不佳,当这种情况的次数达到 limit(即 bits.Len(length))时,切换到堆排序

解决了以上问题,我们就得到了 pdqsort - version1

·对于短序列(<=24)我们使用插入排序
·其他情况,使用快速排序(选择首个元素作为 pivot)来保证整体性能
·当快速排序表现不佳时(limit==0),使用堆排序来保证最坏的情况下时间复杂度仍然为O(n*logn)

如何让 pdqsort 速度更快?
·尽量使得 QuickSort 的 pivot 为序列的中位数 -> 改进 choose pivot
·Partition 速度更快 -> 改进 partition,但是此优化在 Go 表现不好,

pdqsort - version2

思考关于 pivot 的选择

·使用首个元素作为 pivot (最简单的方案)
实现简单,但是往往效果不好,例如在 sorted 情况下性能很差
·遍历数组,寻找真正的中位数
遍历比对代价很高,性能不好
寻找 pivot 做需要的开销<<<平衡>>> pivot 带来的性能优化

寻找近似中位数!

根据序列长度的不同,来决定选择策略

优化 -Pivot 的选择
·短序列(<=8),选择固定元素。这里只是针对快排的优化,并非完全对 pdqsort的优化
·中序列(<=50),采样三个元素,median of three
·长序列(>50),采样九个元素,median of medians

Pivot 的采样方式使得我们有探知序列当前状态的能力!

graph TD
采样元素都是逆序排列 --> 序列可能已经逆序 --> 翻转整个序列
采样元素都是顺序排列 --> 序列可能已经顺序 --> 使用插入排序

注:插入排序实际使用 partialInsertionSort,即有限次数的插入排序

Version1 升级到 version2 优化总结

·升级 pivot 选择策略(近似中位数)
·发现序列可能逆序,则翻转序列 -> 应对 reverse 场景
·发现序列可能逆序,使用有限插入排序 -> 应对 sorted 场景

还有什么场景我们没有优化?

·短序列情况
---使用插入排序(v1)
·极端情况
---使用堆排序保证算法的可行性(v1)
·完全随机的情况(random)
---更好的 pivot 选择策略(v2)
·有序/无序的情况(sorted/reverse)
---根据序列状态翻转或者插入排序(v2)

pdqsort - final version\

如何优化重复元素很多的情况?

·采样 pivot 的时候检测重复度?
不是很好,因为采样数量有限,不一定能采样到相同元素
解决方案:
如果两次 partition 生成的 pivot 相同,即 partition 进行了无效分割,此时认为 pivot 的值为重复元素(相比上一种方法有更高的采样率

优化 - 重复元素较多的情况(partitionEqual)

当检测到此时的 pivot 和上次相同时(发生在 leftSubArray),使用 partitionEqual 将重复元素排列在一起,减少重复元素对于 pivot 选择的干扰

优化 - 当 pivot 选择策略表现不佳时,随机交换元素

避免一些极端情况使得 QuickSort 总是表现不佳,以及一些黑客攻击情况