数据结构与算法|青训营笔记

这是我参与「第三届青训营 -后端场」笔记创作活动的的第12篇笔记

• 为什么要学习数据结构与算法
  • 问题：某个时间段内，直播间礼物数TOP10房间获得奖励，需要在每个房间展示排行榜
  • 解决方案
    • 礼物数量存储在Redis-zset中，使用skiplist使得元素整体有序
    • 使用Redis集群，避免单机压力过大，使用主从算法、分片算法
    • 保证集群原信息的稳定，使用一致性算法
    • 后端使用缓存算法(LRU)降低Redis压力，展示房间排行榜
  • 最快的排序算法
    • python-timesort
    • C++-introsort
    • Rust-pdqsort
    • GO(<=1.18)-introsort
• 经典排序算法
  • 插入排序
    • 将元素不断插入已经排序好的array中，即不断交换，直到找到第一个比其小的元素
    • 时间复杂度
      • 最好情况 O(n)
      • 平均时间 O(n^2)
      • 最差情况 O(n^2)
    • 缺点
      • 平均情况和最差情况时间复杂度高
    • 优点
      • 最好情况下时间复杂度低
  • 快速排序
    • 分治思想，不断分割序列直到序列整体有序
    • 选定一个轴点pivot
    • 使用pivot分割序列，分成元素比pivot大和元素比pivot小两个序列
    • 时间复杂度
      • 最好情况 O(n*logn)
      • 平均时间 O(n*logn)
      • 最坏时间 O(n^2)
    • 缺点
      • 最坏情况的时间复杂度很高
    • 优点
      • 平均情况时间复杂度低
  • 堆排序
    • 构造一个大顶堆
    • 将根节点(最大元素)交换到最后一个位置，调整整个堆，如此反复
    • 时间复杂度
      • 最好最坏情况下都是 O(n*logn)
  • 经典算法理论印象
    • 插入排序平均和最坏情况下时间复杂度高，性能不好
    • 快速排序整体性能处于中间层次
    • 堆排序性能稳定
  • Benchmark
    • 根据序列元素排列情况划分
      • 完全随机的情况
      • 有序/逆序情况
      • 元素重复度较高的情况
      • 在此基础上，还需要根据序列长度划分(16/128/1024)
    • 完全随机
      • 插入排序在短序列中速度最快
      • 快速排序在其他情况中速度最快
      • 堆排序速度于最快算法差距不大
    • 实际场景benchmark结论
      • 所有短序列和元素有序情况下，插入排序性能最好
      • 在大部分情况下，快速排序有较好的综合性能
      • 几乎在任何情况下，堆排序的表现都比较稳定
• 从零打造pdqsort(pattern-defeating-quicksort)
  • 是一种不稳定的混合排序算法。其对常见的序列类型做了特殊优化，使得在不同条件下都拥有不错的性能。
  • version 1
    • 结合三种排序方法的优点
      • 对于短序列(小于一定长度)使用插入排序
        • 短序列的具体长度
          • 12~32，在不同语言和场景中会有不同，在泛型版本根据测试选定24
      • 其他情况，使用快速排序保证整体性能
      • 当快速排序表现不佳时，使用堆排序保证最坏情况下时间复杂度仍然为O(n*logn)
        • 如何得知快速排序表现不佳，以及何时切换到堆排序
          • 当最终pivot的位置离序列两端很接近时(距离小于length/8)判定其表现不佳，当这种情况的次数达到limit(即bits.Len(length))时，切换到堆排序
    • 如何使pdqsort速度更快
      • 尽量使得QuickSort的pivot为序列的中位数->改进choose pivot
      • Partiton速度更快->改进partition，但是此优化在Go表现不好
  • version 2
    • pivot的选择
      • 使用首个元素作为pivot(最简单的方案)
        • 缺点
          • 实现简单，但是往往效果不好，例如在sorted情况下性能很差
      • 遍历数组，寻找真正的中位数
        • 遍历比对代价很高，性能不好
    • 根据序列长度的不同，决定选择策略
      • 优化-Pivot的选择
        • 短序列(<=8)，选择固定元素
        • 中序列(<=50)，采样三个元素，寻找中位数
        • 长序列(>50)，采样九个元素，寻找中位数
      • Pivot的采样方式使得我们有探知序列当前状态的能力
        • 采样的元素都是逆序排列->序列可能已经逆序->翻转整个序列
        • 采样的元素都是顺序排列->序列可能已经有序->使用插入排序
          • 插入排序实际使用partialInsertionSort,即有限制次数的插入排序
    • 优化总结
      • 升级Pivot的选择策略(近似中位数)
      • 发现序列可能逆序，则翻转序列->应对reverse场景
      • 发现序列可能有序，使用有限插入序列->应对sorted场景
    • 还有什么场景没有优化
      • 短序列情况
        • 使用插入排序(v1)
      • 极端情况
        • 使用堆排序保证算法的可行性(v1)
      • 完全随机的情况
        • 更好的pivot选择策略(v2)
      • 有序/逆序的情况
        • 根据序列状态翻转或者插入排序(v2)
      • 元素重复度较高的情况(mod8)->?
  • final version
    • 如何优化重复元素很多的情况
      • 如果两次partition生成的pivot相同，即partition进行了无效分割，此时认为pivot的值为重复元素
      • 当检测到此时的pivot和上次相同时，使用partitionEqual将重复元素排列在一起，减少重复元素对于pivot选择的干扰
    • 当pivot选择策略表现不佳时，随机交换元素
      • 避免一些极端情况使得QuickSort总是表现不佳，以及一些黑客攻击情况
• 高性能的排序算法是如何设计的
  • 根据不同情况选择不同策略，取长补短
• 生产环境中使用的排序算法和课本上的排序算法有什么区别
  • 理论算法注重理论性能，例如时间、空间复杂度等。生产环境中的算法需要面对不同的实践场景，更加注重实践性能
• Go语言(<=1.18)的排序算法是快速排序吗

  • 一直是混合排序算法，主体是快速排序。和pdqsort的区别在于fallback时机、pivot选择策略、是否有针对不同pattern优化等