其他分享
首页 > 其他分享> > Spark分区器HashPartitioner和RangePartitioner代码详解

Spark分区器HashPartitioner和RangePartitioner代码详解

作者:互联网

Spark分区器HashPartitioner和RangePartitioner代码详解

iteblog 过往记忆大数据
Spark分区器HashPartitioner和RangePartitioner代码详解
  在Spark中分区器直接决定了RDD中分区的个数;也决定了RDD中每条数据经过Shuffle过程属于哪个分区;也决定了Reduce的个数。这三点看起来是不同的方面的,但其深层的含义是一致的。
  我们需要注意的是,只有Key-Value类型的RDD才有分区的,非Key-Value类型的RDD分区的值是None的。
  在Spark中,存在两类分区函数:HashPartitioner和RangePartitioner,它们都是继承自Partitioner,主要提供了每个RDD有几个分区(numPartitions)以及对于给定的值返回一个分区ID(0~numPartitions-1),也就是决定这个值是属于那个分区的。
HashPartitioner分区
  HashPartitioner分区的原理很简单,对于给定的key,计算其hashCode,并除于分区的个数取余,如果余数小于0,则用余数+分区的个数,最后返回的值就是这个key所属的分区ID。实现如下:


01  class HashPartitioner(partitions: Int) extends Partitioner {
02  require(partitions >= 0, s"Number of partitions ($partitions) cannot be negative.")
03  
04  def numPartitions: Int = partitions
05  
06  def getPartition(key: Any): Int = key match {
07  case null => 0
08  case _ => Utils.nonNegativeMod(key.hashCode, numPartitions)
09  }
10  
11  override def equals(other: Any): Boolean = other match {
12  case h: HashPartitioner =>
13  h.numPartitions == numPartitions
14  case _ =>
15  false
16  }
17  
18  override def hashCode: Int = numPartitions
19  }

标签:key,numPartitions,分区,RDD,HashPartitioner,RangePartitioner,Spark,partitions
来源: https://blog.51cto.com/15127589/2680390