背景 前一阵数分小姐姐跑路了把任务都交接给数仓了，最近发现其中的一个 hive 报表任务每天运行 1.5~2h 同时占用大量资源，晒下问题 sql： 关键信息： 包含 6 个维度的 cube，也就是最

问题描述 在使用Scala/Java进行Spark项目开发过程中，常涉及项目构建和打包上传，因项目依赖Spark基础相关类包一般较大，打包后若涉及远程开发调试，每次打包都消耗多很多时间，因此需对此过程

观察Driver的log：“BlockManagerInfo: Added rdd_6_0 in memory on 192.168.0.101:12907 (size: 16.6 KB, free: 1443.6 MB)”的日志信息。这就显示了每个partition占用了多少…

摘要：Spark SQL是用于处理结构化数据的模块。与Spark RDD不同的是，Spark SQL提供数据的结构信息(源数据)和性能更好，可以通过SQL和DataSet API与Spark SQL进

本套系列博客从真实商业环境抽取案例进行总结和分享，并给出Spark商业应用实战指导，请持续关注本套博客。 本文重点介绍最具技术含量的数据倾斜处理算法，如下方法仅供参考。 方案适用场景：在对RDD使用join类操作，或者是在Spark SQL中使用join语句时，而且join操作…

常规性能调优一：最优资源配置 Spark性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策