01.为什么要学习数据结构和算法
了解课本上学习到的算法和真正在生产实践中使用的算法之间的差异
-
什么是最快的排序算法? Python-timsort ， C++-introsort ， Rust-pdqsort。
-
Go的排序算法有没有提升空间? Go(<=1.18)-introsort。
GO 1.19的默认排序算法
02．经典排序算法
Insertion Sort插入排序
将元素不断插入已经排序好的array中
- 起始只有一个元素5,其本身是一个有序序列
- 后续元素插入有序序列中，即不断交换,直到找到第一个比其小的元素
缺点 平均和最坏情况的时间复杂度高达O(n^2)
优点 最好情况时间复杂度为O(n)
Quick Sort快速排序
分治思想，不断分割序列直到序列整体有序
- 选定一个pivot(轴点)
- 使用pivot分割序列,分成元素比 pivot大和元素比 pivot小两个序列
缺点 最坏情况的时间复杂度高达O(n^2)
优点 平均情况的时间复杂度为O(n*logn)
Heap Sort堆排序
利用堆的性质形成的排序算法
- 构造一个大顶堆
- 将根节点(最大元素)交换到最后一个位置，调整整个堆，如此反复
缺点 最好情况的时间复杂度高达 O(n*logn)
优点 最坏情况的时间复杂度为O(n*logn)
经典算法理论印象
- 插入排序平均和最坏情况时间复杂度都是O(n^2)、性能不好
- 快速排序整体性能处于中间层次
- 堆排序性能稳定,“众生平等"
实际场景benchmark
根据序列元素排列情况划分
- 完全随机的情况(random)
- 有序/逆序的情况(sorted/reverse)
- 元素重复度较高的情况(mod8)
在此基础上，还需要根据序列长度的划分(16/128/1024)
03．从零开始打造pdqsort
从雩开始打造目前业界性能一流的弧序算法 pdqsort (Pattern-Defeating-QuickSort)
简介
pdqsort (pattern-defeating-quicksort) 是一种不稳定的混合排序算法，它的不同版本被应用在C++ BOOST、Rust 以及Go 1.19中。它对常见的序列类型做了特殊的优化，使得在不同条件下都拥有不错的性能。
version1
结合三种排序方法的优点
- 对于短序列(小于一定长度)我们使用插入排序
- 其他情况,使用快速排序来保证整体性能
- 当快速排序表现不佳时，使用堆排序来保证最坏情况下时间复杂度仍然为O(n*logn)
Q&A 1.短序列的具体长度是多少呢? 12~32，在不同语言和场景中会有不同，在泛型版本根据测试选定24
2.如何得知快速排序表现不佳,以及何时切换到堆排序? 当最终pivot的位置离序列两端很接近时（距离小于length/8)判定其表现不佳，当这种情况的次数达到limit(即 bits.Len(length))时，切换到堆排序。
version2
思考关于pivot的选择
- 使用首个元素作为pivot(最简单的方案) 实现简单，但是往往效果不好，例如在sorted 情况下性能很差
- 遍历数组，寻找真正的中位数 遍历比对代价很高，性能不好
寻找pivot所需要的开销 平衡 pivot带来的性能优化 寻找近似中位数!
根据序列长度的不同，来决定选择策略
优化-Pivot的选择
- 短序列(<=8)，选择固定元素
- 中序列(<=50)，采样三个元素
- 长序列(>50)，采样九个元素
Pivot的采样方式使得我们有探知序列当前状态的能力!
采样的元素都是逆序排列 →序列可能已经逆序 →翻转整个序列
采样的元素都是顺序排列 →序列可能已经有序 →使用插入排序
注:插入排序实际使用partiallnsertionSort,即有限制次数的插入排序
Version1升级到version2优化总结
- 升级pivot选择策略(近似中位数)
- 发现序列可能逆序,则翻转序列->应对reverse场景
- 发现序列可能有序,使用有限插入排序->应对sorted场景
还有什么场景我们没有优化?
- 短序列情况
- 使用插入排序(v1)
- 极端情况
- 使用堆排序保证算法的可行性(v1)
- 完全随机的情况(random)
- 更好的pivot选择策略(v2)
- 有序/逆序的情况(sorted/reverse)
- 根据序列状态翻转或者插入排序(v2)
- 元素重复度较高的情况(mod8) ->?
final version
还有什么场景我们没有优化?·短序列情况 ·使用插入排序(v1)·极端情况 ·使用堆排序保证算法的可行性(v1)·完全随机的情况(random) ·更好的pivot选择策略(v2) ·有序/逆序的情况(sorted/reverse) 根据序列状态翻转或者插入排序(v2)·元素重复度较高的情况(mod8) ->?
如何优化重复元素很多的情况?
- 采样pivot的时候检测重复度? 不是很好,因为采样数量有限,不一定能采样到相同元素
解决方案: 如果两次partition生成的pivot相同，即partition进行了无效分割，此时认为pivot的值为重复元素 (相比上一种方法有更高的采样率)
优化-重复元素较多的情况(partitionEqual) 当检测到此时的pivot和上次相同时(发生在 leftSubArray) ,使用partitionEqual将重复元素排列在一起，减少重复元素对于pivot选择的干扰。
优化-当pivot选择策略表现不佳时,随机交换元素 避免一些极端情况使得QuickSort总是表现不佳,以及一些黑客攻击情况。
高性能的排序算法是如何设计的? 根据不同情况选择不同策略，取长补短
生产环境中使用的的排序算法和课本上的排序算法有什么区别? 理论算法注重理论性能，例如时间、空问复杂度等。生产环境中的算法需要面对不同的实践场景，更加注重实践性能。
Go语言(<=1.18)的排序算法是快速排序么? 实际一直是混合排序算法，主体是快速排序。Go <= 1.18时的算法也是基于快速排序，和pdqsort的区别在于 fallback时机、pivot选择策略、是否有针对不同pattern 优化等。
相关资源
Proposal:https:l/ cnthyub.com/golang/golissues/50154
Paper:hitpsl arxiv.org/ pdf/2106.05123.pdlf
Code:https:llgithub.com/golang/go/blob/master/src/sort/zsortinterface.go
公众号文章:ttps://mp.weixin.qq.comis/ 5HdfRGqPyAhFtokrPqgMHoe
课后作业:实现pdqsort-version1
