加碘盐酱

摘要: 使用Spark进行数据分析和计算早已成趋势，你是否关注过读取一张Hive表时Task数为什么是那么多呢？它跟什么有关系呢？ 最近刚好碰到这个问题，而之前对此有些模糊，所以做了些整理，希望大家拍砖探讨

上一篇文章介绍了3道常见的SQL笔试题，反响还算是不错。于是乎，接下来的几天，菌哥将每天为大家分享一些关于大数据面试的杀招，祝小伙伴们都能早日找到合适的工作~ 面试官往往一上来就一个“灵魂三连问”，很多没有提前准备好的小伙伴基本回答得都磕磕绊绊，效果不是很好。下面贴出菌哥的回答…

对于流行的分布式计算框架（如离线的MapReduce、流计算Storm、迭代内存计算Spark、流式计算Flink），“数据量大”从来都不是问题，因为理论上来说，都可以通过增加并发的节点数来解决。 但是如果数据倾斜或者分布不均匀了，那么就会是问题。此时不能简单地通过增加并发节点…

对于Hive的使用者来说，掌握Hive DDL和DML是最基本的操作，这在实际项目中是远远不够的。在实际项目实践中，经常会碰到诸如“这个Hive SQL怎么这么久了还执行不出来？明明数据量没有多大，怎么这个Hive SQL会发费这么多时间？ 为什么我的Hive SQL一直han…