这是我参与「第三届青训营 -后端场」笔记创作活动的第6篇笔记
01.为什么要学习数据结构与算法
例子：某个时间段内，直播间礼物数TOP10房间获得奖励，需要在每个房间展示排行榜
解决方案：
- 礼物数量存储在Redis-zset中，使用skiplist使得元素整体有无
- 使用Redis集群，避免单机压力过大，使用主从算法、分片算法
- 保证集群原信息的稳定，使用一致性算法
- 后端使用缓存算法（LRU）降低Redis压力，展示房间排行榜
Go在版本小于等于1.18之前使用的默认排序算法是introsort，在Go1.19中默认排序算法将会改变，比起之前的算法，在某些常见场景中的速度会快10倍。
02.经典排序算法
Insertion Sort 插入排序
-
简单概念：将元素不断插入已经排序好的array中
-
时间复杂度
- 最好：O(N)
- 平均：O(N^2）
- 最坏：O(N^2)
-
缺点
- 平均和最坏的情况时间复杂度高达O(N^2)
Quick Sort快速排序
- 简单概念：分治思想，不断分割序列直到整体序列有序
- 选定一个pivot（轴点）
- 使用pivot分割序列，分成元素比pivot大和元素比pivot小两个序列
- 时间复杂度
- 最好：O(N*logN)
- 平均：O(N*logN)
- 最坏：O(N^2)
- 缺点
- 最坏时间复杂度高达O(N^2)
Heap Sort 堆排序
- 简单概念：利用堆的性质形成的排序算法
- 构造一个大顶堆
- 将根节点（最大元素）交换到最后一个位置，调整整个堆，如此反复
- 时间复杂度
- 最好：O（N*logN）
- 平均：O（N*logN）
- 最坏：O（N*logN）
- 稳定，但是最坏时间复杂度也高达O(N*logN)
实际场景benchmark
-
据序列元素排列情况划分
- 完全随机情况（random）
- 有序/逆序的情况（sorted/reverse）
- 元素重复度较高的情况（mod8）
- 在此基础上，还需要根据序列长度的划分（16/128/1024）
-
random：
- 插入排序在短序列中最快
- 快速排序在其他情况中速度最快
- 堆排序与最快算法差距不大
-
sorted：
- 插入排序在有序的情况下是最快的
-
结论
- 所有短序列和元素有序情况下，插入排序性能最好
- 在大部分的情况下，快速排序有较好的综合性能
- 几乎在任何情况下，堆排序的表现都比较稳定
03.从零实现pdqsort
pdqsort，自己以前从来没接触过，下面还是跟着老师来了解和实现一下。
pdqsort简介
pdqsort（pattern-defeating-quicksort），是一种不稳定的混合排序算法，它的不同版本被应用在C++ BOOST、Rust以及Go1.19中。它对常见的序列类型做了特殊的优化，使得在不同条件下都拥有不错的性能。
pdqsort实质为一种混合排序算法，在不同情况下切换到不同的排序机制，该实现灵感来自C++和RUST的实现，是对C++标准库算法introsort的一种改进，其理想情况下的时间复杂度为O(N)，最坏情况下的时间复杂度为O(N*logN），不需要额外空间。
version1
- 集合三种排序方法的优点
- 对于短序列（小于一定长度）使用插入排序
- 其他情况使用快速排序来保证整体性能
- 当快速排序表现不佳时，使用堆排序来保证最坏情况下时间复杂度任然为O(N*logN)
- 短序列的具体长度
- 12~32，在不同语言和场景中会有不同，在泛型版本根据测试选定24
- 如何得知快排表现不佳，以及何时切换到堆排序
- 当最终pivot的位置离序列两段很接近时（距离小于length/8）判定其表现不佳，当这种情况次数达到limit（即bits.Len(length))时，切换到堆排序
- 如何让pdqsort速度更快
- 尽量使得QuickSort的pivot为序列的中位数（改进choose pivot）
final version（Go1.19 default）
04.Q&A
-
高性能的排序算法是如何设计的？
- 根据不同情况选择不同策略，取长补短
-
生产环境中使用的排序算法和课本上的排序算法有什么区别？
- 理论算法注重理论性能，例如时间、空间复杂度等。生产环境中的算法需要对不同的实践场景，更加注重实践性能
-
Go语言（≤1.18）的排序算法是快速排序么？
- 实际一直是混合排序算法，主体是快速排序。Go≤1.18时的算法也是基于快速排序，和pdqsort的区别在于fallback时机、pivot选择策略、是否有针对不同pattern优化等
