例子-抖音直播排行榜功能:例如在某个时段内,直播间礼物数Top10房间获得奖励且在房间内展示排行榜
- 存储在Redis-zset中,使用skiplis使元素整体有序
- Redis集群,使用主从算法、分片算法 避免单机压力过大
- 一致性算法
- 后端使用缓存算法LRU降低Redis的压力
什么是最快的排序算法?
要看数据情况,如果是数量很多的话可以用一些并发排序的算法,有什么特殊场景就用什么特殊算法
例如单线程场景中,Python用timsort C++用introsort Rust-pdqsort
经典排序算法:插入排序、快排序、对排序、Benchmark
Insertion Sort(插入排序)
将元素不断插入已经排序好的数组中
- 起始只有一个元素5,其本身是一个有序序列
- 后续元素插入有序序列中,即不断交换,直到找到第一个比其更小的元素
插入排序的时间复杂度:
最好情况复杂度:O(n)
平均时间复杂度:O(n^2)
最坏情况复杂度:O(n^2)
缺点:
- 时间复杂度很高,运行起来会比较慢,平均和最坏的时间复杂度为O(n^2)
优点:
- 最好情况为O(n)
Quick Sort(快速排序)
不断分割序列直到整体有序为止
- 有序思想选定一个pivot(轴点)
- 使用pivot分割序列,分成元素比pivot大和比pivot小的两个序列
插入排序的时间复杂度:
最好情况复杂度:O(n*logn)
(每一次选择的轴点都恰好是中位数时出现,这样每次分割都能分成2个几乎相等的数)
平均时间复杂度:O(n*logn)
最坏情况复杂度:O(n^2)
(每次都只将一个元素分成有序的一部分,即只解决了一部分)
缺点:
- 最坏情况下的时间复杂度为O(n^2)
优点:
- 平均情况的时间复杂度为O(n*logn)
Heap Sort(堆排序)
利用堆的性质形成的排序算法
- 构造一个大顶堆或小顶堆
- 将根结点(最大元素)交换到最后一个位置,如此反复进行调整整个堆
堆排序的时间复杂度:
最好情况复杂度:O(n*logn)
(每一次选择的轴点都恰好是中位数时出现,这样每次分割都能分成2个几乎相等的数)
平均时间复杂度:O(n*logn)
最坏情况复杂度:O(n*logn)
(每次都只将一个元素分成有序的一部分,即只解决了一部分)
缺点:
- 最好情况下的时间复杂度为O(n*logn)
优点:
- 最坏情况下的时间复杂度也到不了O(n^2)
几种算法进行总结:
经典算法的理论印象:
- 插入排序平均和最坏情况的时间复杂度都是O(n^2),性能不太好
- 快速排序的性能整体处于中间层次
- 堆排序的性能稳定,在所有情况下的时间复杂度都是O(n*logn)
要结合理论和实践情况,在具体情况下去看不同排序算法的真实效果,不完全只去看他的复杂度来选择。
实际场景benchmark:
根据序列元素的排序情况进行划分
- 情况完全随机(random)
- 有序/逆序的情况(sorted/reverse)
- 元素重复程度较高的问题(mod8)
在此基础上,还需要根据序列长度进行划分(16/128/1024)
Benchmark-random
- 短序列-16个序列:插入排序InsertionSort
- 中序列-128个序列:快速排序QuickSort
- 长序列-1024个序列:快速排序QuickSort
BenchMark-sorted
- 短序列-16个序列:插入排序InsertSort
- 中序列-128个序列:插入排序InsetSort
- 长序列-1024个序列:插入排序insertSort
- 插入排序在序列有序的情况下是最快的
情况总结
- 所有短序列和有序的情况下,插入排序性能最好
- 在大部分情况下,快速排序有较好的综合性能
- 几乎在所有情况下,堆排序的表现都比较稳定
快速排序是单车
快速排序是汽车
堆排序类似地铁
使用多个交通工具(算法)去使用
设计出一种多种算法结合使用形成更高效的算法来应用
pdqsort(pattern-defeating-quicksort)
是一种不稳定的混合排序算法,其不同版本被应用在C++ Boost、Rust以及Go1.19种,堆常见的序列类型做了特殊的优化,使得在不同条件下都拥有不错的性能。
结合三种排序方法的优点
- 对于短序列,使用插入排序
- 其他情况,使用快速排序来保证整体性能
- 当快速排序表现不佳时,使用堆排序来保证最坏情况下时间复杂度仍然为O(n*logn)
1.短序列的具体长度是多少呢?
12~32,再不提哦那个语言中会有不同,在泛型版本根据测试选定24
2.如何得知快速排序表现不佳,以及如何切换到堆排序?
当最终pivot的位置距离序列两端很接近时(距离小于length/8)判定其表现不佳,当这种情况的次数达到limit(即bits.Len(length))时,切换到堆排序
- 对于其他情况(<=24)我们使用插入排序
- 其他情况,使用快速排序(选择首个元素作为pivot)来保证整体性能
- 当快速排序表现不佳时(limit==0),使用堆排序来保证最坏情况下时间复杂度仍为O(n*logn)
如何让pdqsort的速度更快呢?
- 尽量使得QuickSort的pivot为序列的中位数-> 改进choose pivot
- Partition速度更快->改进partition,但在Go中表现不佳
思考关于pivot的选择
- 使用首个元素作为pivot(最简单的方案)
实现简单,但是效果往往不好,例如在sorted情况下性能很差
- 遍历数组,寻找真正的中位数
遍历数组代价很高,导致性能不好
结论:寻找pivot所需要的开销~~平衡~~pivot带来的性能优化
根据序列长度的不同来决定选择策略
优化Pivot的选择
- 短序列(<=8)选择一个固定的元素可能更好选择固定元素
- 中序列(<=50)采样三个元素,media of three
- 长序列(>50)采样九个元素,media of medians
如果采样的元素都是逆序排列---〉序列有可能已经逆序---〉翻转整条序列
如果采样的元素都是顺序排列---〉序列可能已经有序了---〉使用插入排序InsertionSort
- 升级Pivot选择策略(近似中位数)
- 发现排序可能逆序,则反转序列--〉应对reverse场景
- 发现序列可能有序,使用有限插入排序--〉应对sorted场景
短序列情况:使用插入排序
极端情况:使用堆排序保证算法的可行性
完全随机情况:使用采样能更好的pivot选择策略
有序/逆序情况:根据序列状态进行翻转或者使用插入排序算法
元素重复度较高:采用分割,将重复度较高的部分排列在一起,当选择策略不佳时,随机交换元素
高性能的排序算法是如何设计的呢?
根据不同情况选择不同的策略,取长补短。
生产环境中使用的排序算法和课本上的理论知识有什么区别呢?
理论算法更注重在理论上的性能,例如:时间、空间复杂度等。生产环境中的算法需要面对不同的实践场景,更加注重实践的性能。