这是我参与「第三届青训营 -后端场」笔记创作活动的的第11篇笔记。
1. 课前需要复习的内容
重点复习它们的运行原理以及不同情况下的时间复杂度，复习之后，可以简单思考一下，是否可以通过简单的排列组合的方式，将我们学习过的经典排序算法组合、改造成一个性能更好的混合排序算法。
2. 为什么要学习数据结构与算法
了解课本上学习到的算法和真正在生产时间中使用的算法之间的差异
2.1 例子-抖音直播排行榜功能
规则：某个时间段内，直播间礼物top10房间获得奖励，需要在每个房间展示排行榜 解决方案：
- 礼物数量存储在Rdeis-zset中，使用skiplist使得元素整体有序
- 使用redis集群，避免单机压力过大，使用主从算法、分片算法
- 保证集群原信息的稳定，使用一致性算法
- 后端使用缓存算法(LRU)降低redis压力，显示房间排行榜
Q：什么是最快的排序算法
pytho-timesot c++-introsort rust-pdqsort
Q：go的排序算法有没有提升空间
go(<=1.18)-introsort
Q: go1.19的排序算法是如何设计的？
Q：生产环境中使用的排序算法和课本上的排序算法有什么区别？
Q：go语言的排序算法是快速排序吗？
3. 经典排序算法
3.1 插入排序
缺点：
- 平均和最坏情况下的时间复杂度高达O(n^2) 优点：
- 最好情况下的时间复杂度为O(n)
3.2 快速排序
分治思想，不断分割序列直到序列整体有序
- 选定一个pivot(轴点）
- 使用privot分割序列，分成元素比pivot大和元素比pivot小的两个序列
缺点：
- 最坏情况的时间复杂度是O(n^2)
3.3 堆排序
利用堆的性质形成的排序算法
- 构造一个大顶堆
- 将根节点（最大元素）交换到最后一个位置，调整整个堆，如此反复。
缺点：
- 最好情况的时间复杂度高达O(n*logn) 优点：
- 最坏情况下的时间复杂度是O(n*logn)
3.4 小结
3.4.1 不同的排序算法时间复杂度
3.4.2 实际场景benchmark
根据序列元素排列情况划分
- 完全随机的情况(random)
- 有序/逆序的情况(sorted/reverse)
- 元素重复度较高的情况(mod8) 在此基础上，还需要根据序列长度的划分(16/128/1024)
4. 从零开始打造pdqsort
pdqsort是一种不稳定的混合排序算法，它的不同版本被应用在c++ BOOST、Rust以及Go 1.19中。它对常见的序列类型做了特殊的优化，使得在不同条件下都拥有不错的性能。
4.1 pdqsort-version1
结合三种排序算法的优点
- 对于短序列（小于一定长度12~32）我们使用插入排序
- 其他情况使用快排来保证整体性能
- 当快速排序表现不佳时(当最终的pivot的位置离序列两端很接近时（距离小于length/8）判定其表现不佳，当这种情况的次数达到limit（即bits.len(length）时,切换到堆排序)，使用堆排序来保证最坏情况下时间复杂度仍然为O(nlogn)
- 对于短序列(<=24)，使用插入排序
- 其他情况，使用快速排序（选择首个元素作为pivot）来保证整体性能
- 当快速排序表现不佳时（limit==0），使用堆排序来保证最坏情况下时间复杂度仍然为O(nlogn)
Q:如何使pdqsort更快？
- 尽量使得QuiceSort的pivot为序列的中位数 -> 改进choose pivot
- Partition速度更快 -> 改进patition，但是此优化在Go表现不好
4.2 pdqsort-version2
思考关于pivot的选择：
- 使用收割元素作为pivot
- 实现简单，但是往往效果不好，在有序的情况下性能很差
- 遍历数组，寻找真正的中位数
- 遍历比对代价很高，性能不好
寻找pivot所需要的开销 与 pivot带来的性能优化 之间的平衡 -> 寻找近似的中位数
根据序列长度的不同，来决定选择策略
优化-pivot的选择
- 短序列(<=8)，选择固定元素
- 中序列(<=50)，采样三个元素，median of three
- 长序列(> 50)，采样九个元素，median of medians
pivot的采样方式使得我们有探知序列当前状态的能力
采样的元素都是逆序排列->序列可能已经逆序->翻转整个序列
采样的元素都是顺序排列->序列可能已经有序->使用插入排序（使用的partialInsertionSort,即有限次数的插入排序）
version 升级到 version2的优化总结
- 升级pivot选择策略（近似中位数）
- 发现序列可能逆序，则翻转序列->应对reverse场景
- 发现序列可能有序，使用有限插入排序->应对sorted场景
Q：还有什么场景没有优化
短序列情况
- 使用插入排序（v1） 极端情况
- 使用堆排序保证算法的可行性(v1) 完全随机的情况(random)
- 更好的pivot选择策略(v2) 有序/逆序的情况(sorted/reverse)
- 根据序列的状态翻转或者插入排序（v2） 重复度较高的情况？
4.3 pdq-final version
如何优化重复度很多的情况？
- 采样pivot的时候检测重复度？ 解决方案：如果两次partition生成的pivot相同，即partition进行了无效分割，此时认为pivot的值为重复元素
优化-重复元素较多的情况
- 当检测到此时的pivot和上次相同时（发生在leftSubArray），使用partitionEqual将重复元素排列在一起，减少重复元素对于pivot选择的干扰 优化-当pivot选择策略表现不佳时，随机交换元素
- 避免一些极端情况使得QuickSort总是表现的不佳，以及一些黑客共计的情况
Q&A
Q：高性能的排序算法是怎么设计的?
A：根据不同情况选择不同策略，取长补短
Q：生产环境中使用的排序算法和课本上的排序算法有什么区别？
A：理论算法注重理论性能，例如时间、空间复杂度等。生产环境中的算法需要面对不同的时间场景，更加注重时间性能
Q：go语言(<=1.18)的排序算法是快速排序吗？
A：实际一直是混合排序算法，主题是快速排序。go<=1.18时的算法也是基于快速排序，和pdqsort的区别在于fallback时机，pivot选择策略、是否有针对不同pattern优化。
