spark
2篇文章 · 0订阅
  • Apache Spark 分区器的实现分析
    最近在学习 Apache Spark 1.4.1 的源码和写 Apache Spark 源码阅读 系列学习笔记，大多数的子模块啃得还算比较顺利，唯独分区器（Partitioner），尤其是范围分区器（Range Partitioner）这一块，代码有着诸多疑惑之处，能 Goog…
    Spark
  • Spark 解决数据倾斜的几种常用方法
    数据倾斜是大数据计算中一个最棘手的问题，出现数据倾斜后，Spark 作业的性能会比期望值差很多。数据倾斜的调优，就是利用各种技术方案解决不同类型的数据倾斜问题，保证 Spark 作业的性能。 一个 Spark 作业，会根据其内部的 Action 操作划分成多个 job，每个 j…
    Spark