键值对 RDD 的分区

787 阅读3分钟

分区器决定了RDD中数据在经过shuffle过程中最后落在哪个分区中

注意:

  • 只有Key-Value类型的RDD才有分区器的,非Key-Value类型的RDD分区器的值是None
  • 每个RDD的分区器ID范围:0~numPartitions-1,partition0~partition(numPartitions-1)。

获取RDD分区器

可以通过使用 RDD 的 partitioner 属性来获取 RDD 的分区方式。它会返回一个 scala.Option 对象

    val pairs = sc.parallelize(List((1,1),(2,2),(3,3)))
    pairs.partitioner
    //Option[org.apache.spark.Partitioner] = None
    
    val partitioned = pairs.partitionBy(new HashPartitioner(2))
    partitioned.partitioner
    //Option[org.apache.spark.Partitioner] = Some(org.apache.spark.HashPartitioner@2)

Hash 分区

HashPartitioner分区的原理:对于给定的key,计算其hashCode,并除以分区的个数取余,如果余数小于0,则用余数+分区的个数(否则加0),最后返回的值就是这个key所属的分区ID。

val nopar = sc.parallelize(List((1,3),(1,2),(2,4),(2,3),(3,6),(3,8)),8)
nopar.mapPartitionsWithIndex((index,iter)=>{ Iterator(index.toString+" : "+iter.mkString("|")) }).collect    
Array[String] = Array("0 : ", 1 : (1,3), 2 : (1,2), 3 : (2,4), "4 : ", 5 : (2,3), 6 : (3,6), 7 : (3,8)) 

val hashpar = nopar.partitionBy(new org.apache.spark.HashPartitioner(7))
hashpar.mapPartitions(iter => Iterator(iter.length)).collect()
//Array[Int] = Array(0, 3, 1, 2, 0, 0, 0)

hashpar.partitioner
//Option[org.apache.spark.Partitioner] = Some(org.apache.spark.HashPartitioner@7)

Range分区

HashPartitioner分区弊端:可能导致每个分区中数据量的不均匀,极端情况下会导致某些分区拥有RDD的全部数据。

RangePartitioner作用:将一定范围内的数映射到某一个分区内,尽量保证每个分区中数据量的均匀,而且分区与分区之间是有序的,一个分区中的元素肯定都是比另一个分区内的元素小或者大,但是分区内的元素是不能保证顺序的。简单的说就是将一定范围内的数映射到某一个分区内。实现过程为:

第一步:先从整个RDD中抽取出样本数据,将样本数据排序,计算出每个分区的最大key值,形成一个Array[KEY]类型的数组变量rangeBounds;

第二步:判断key在rangeBounds中所处的范围,给出该key值在下一个RDD中的分区id下标;该分区器要求RDD中的KEY类型必须是可以排序的

自定义分区

要实现自定义的分区器,你需要继承 org.apache.spark.Partitioner 类并实现下面三个方法。 (1)numPartitions: Int:返回创建出来的分区数。

(2)getPartition(key: Any): Int:返回给定键的分区编号(0到numPartitions-1)。

(3)equals():Java 判断相等性的标准方法。这个方法的实现非常重要,Spark 需要用这个方法来检查你的分区器对象是否和其他分区器实例相同,这样 Spark 才可以判断两个 RDD 的分区方式是否相同。

需求:将相同后缀的数据写入相同的文件,通过将相同后缀的数据分区到相同的分区并保存输出来实现。

(1)创建一个pairRDD

val data = sc.parallelize(Array((1,1),(2,2),(3,3),(4,4),(5,5),(6,6)))

(2)定义一个自定义分区类

class CustomerPartitioner(numParts:Int) extends org.apache.spark.Partitioner{

  //覆盖分区数
  override def numPartitions: Int = numParts

  //覆盖分区号获取函数
  override def getPartition(key: Any): Int = {
    val ckey: String = key.toString
    ckey.substring(ckey.length-1).toInt%numParts
  }
}

(3)将RDD使用自定义的分区类进行重新分区

val par = data.partitionBy(new CustomerPartitioner(2))

(4)查看重新分区后的数据分布

par.mapPartitionsWithIndex((index,items)=>items.map((index,_))).collect
//Array[(Int, (Int, Int))] = Array((0,(2,2)), (0,(4,4)), (0,(6,6)), (1,(1,1)), (1,(3,3)), (1,(5,5)))