前言 @[toc] 停🤚 不要往下滑了， 默默想5min， 看看这5道面试题你都会吗？ 以下答案仅供参考： 面试题 01、 数据源中的数据分布不均匀，Spark需要频繁交互? 解决方案：避免数据源的数

目录   00 结论 01 distinct的使用 02 group by的使用 03 distinct和group by原理 * 04 推荐group by的原因 00结论 先说大致的结论（完整结论

ORC的全称是(Optimized Row Columnar)，ORC文件格式是一种Hadoop生态圈中的列式存储格式。 用于降低Hadoop数据存储空间和加速Hive查询速度。 这条Hive SQL转换为相应的MapReduce程序执行时，虽然我们仅仅只需要查询该表的第2列数…

spark中的join 关联形式 按照关联形式划分，数据关联分为 内关联、外关联、左关联、右关联等等。对于参与的关联表来说，其关联形式决定的了数据的存在结果，所以选择关联形式，是由业务逻辑决定的。 实

好家伙，有一个Reduce Task执行了10个小时，另个一执行了近2小时，其余Reduce Task的执行时间很短。 简而言之：SQL 中的 Group By 字段会决定某条数据最终落在哪一个 Reducer 上处理。 其实 Hive 早就考虑到这个场景，并且贴心的提供了 h…

为什么MySQL的索引有那么多的数据结构可选，偏偏选树结构？为什么那么多的树结构？为什么又偏偏采用 B+ 树作为索引?

工作中，经常遇到这样的问题，我明明在MySQL表上面加了索引，为什么执行SQL查询的时候却没有用到索引？ 同一条SQL有时候查询用到了索引，有时候却没用到索引，这是咋回事？ 原因可能是索引失效了...