工业界的排序算法介绍——pdqsort

1,718 阅读2分钟

持续创作,加速成长!这是我参与「掘金日新计划 · 6 月更文挑战」的第27天,点击查看活动详情 本文以一种迭代的方式阐述pdqsort

1.前言

1.1 工业界场景介绍

  • 需求:某个时间段内,直播间礼物数TOP10房间获得奖励,需要在每个房间展示排行榜

  • 解决方案:

    • 礼物数量存储在 Redis-zset中,使用skiplist使得元素整体有序
    • 使用Redis集群,避免单机压力过大,使用主从算法、分片算法
    • 保证集群原信息的稳定,使用一致性算法
    • 后端使用缓存算法(LRU)降低 Redis压力,展示房间排行榜

1.2 现有程序语言采用的排序算法

  • Python-timsort
    • TimSort 是一个归并排序做了大量优化的版本。对归并排序排在已经反向排好序的输入时做了特别优化。对已经正向排好序的输入减少回溯。
    • 对两种情况混合(一会升序,一会降序)的输入处理比较好。
  • C++ & Go(<=1.18)-introsort 内省排序
    • 这个排序算法首先从快速排序开始,当递归深度超过一定深度(深度为排序元素数量的对数值)后转为堆排序,pdqsort的区别在于fallback时机、pivot选择策略、是否有针对不同pattern优化等
  • Rust-pdqsort 模式对抗快速排序

1.3 优化算法的注意事项

  • 根据序列元素排列情况划分:
    • 完全随机的情况(random)
    • 有序/逆序的情况(sorted/reverse)
    • 元素重复度较高的情况( mod8)
    • 在此基础上,还需要根据序列长度的划分(16/128/1024)

所有短序列和元素有序情况下,插入排序性能最好在大部分的情况下,快速排序有较好的综合性能几乎在任何情况下,堆排序的表现都比较稳定

2. pdqsort

2.1 pdqsort - version1

基本策略:结合三种排序方法的优点

  • 对于短序列(<=24)插入排序
  • 其他用快速排序(选择首个元素作为pivot)来保证整体性能,
  • 当快速排序表现不佳,这种情况的次数达到limit(即bits.Len(length))时,使用堆排序来保证最坏情况下时间复杂度仍然为O(n*logn)

image.png limit实现:初始值为bits.Len(length),每次发现距离小于length/8就减1,直到limit被减到0

Q&A

1.短序列的具体长度是多少呢?
12~32,在不同语言和场景中会有不同,在泛型版本根据测试选定24

2.如何得知快速排序表现不佳,以及何时切换到堆排序?
当最终pivot的位置离序列两端很接近时(距离小于length/8length/8)判定其表现不佳,每次发现距离小于length/8length/8就减1,直到limit被减到0

2.2 pdqsort - version2

改进方向选择-choose pivot

如何让pdqsort 速度更快?

  • 尽量使得QuickSort 的pivot为序列的中位数->改进 choose pivot.
  • Partition速度更快->改进 partition ,但是此优化在Go表现不好,略

要做到寻找pivot所需要的开销平衡pivot带来的性能优化

改进策略-pivot近似中位数

  • 采样,寻找近似中位数,优化-Pivot的选择。

    • 短序列(<=8),选择固定元素
    • 中序列(<=50),采样三个元素,median of three
    • 长序列(>50),采样九个元素,median of medians
  • 对采样顺序/逆序处理

    • 采样的元素都是逆序排列 序列可能已经逆序 -> 翻转整个序列
    • 采样的元素都是顺序排列 序列可能已经有序 -> 使用有限制次数的插入排序(partiallnsertionSort)

image.png

还有什么场景我们没有优化?

  • 短序列情况
  • 使用插入排序(v1)·极端情况
  • 使用堆排序保证算法的可行性(v1)·完全随机的情况(random)
  • 更好的pivot选择策略(v2)
  • 有序/逆序的情况(sorted/reverse)
  • 根据序列状态翻转或者插入排序(v2)

2.3 pdqsort - final version

优化-重复元素较多(partitionEqual)

  • 如果两次partition生成的pivot相同(发生在leftSubArray),即partition进行了无效分割,此时认为pivot的值为重复元素
  • 使用partitionEqual将重复元素排列在一起,减少重复元素对于pivot选择的干扰

当检测到此时的pivot和上次相同时(发生在leftSubArray),使用partitionEqual将重复元素排列在一起,减少重复元素对于pivot选择的干扰

优化-pivot choose表现不佳(随机交换)

  • 当pivot选择策略表现不佳时,随机交换元素避免一些极端情况使得QuickSort总是表现不佳,以及一些黑客攻击情况

下图黄色表示可能发生可能不发生 image.png