Spark-Shuffle算子

104 阅读1分钟

会产生Shuffle的算子

  • 重分区算子 (repartition ,coalesce)

  • ByKey算子 (groupByKey ,reduceByKey)

  • Join算子 (cogroup ,join)

重分区算子

repartition
coalesce

ByKey算子

groupByKey
reduceByKey
aggregateByKey
combineByKey
sortByKey
sortBy
subtractByKey

Join算子

cogroup
join
leftOuterJoin
intersection
subtract

还有一个
去重算子
distinct