其他分享
首页 > 其他分享> > 寒假学习进度8

寒假学习进度8

作者:互联网

今天继续学习spark双value算子

(1)

def main(args: Array[String]): Unit = {
val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator15")
val sc = new SparkContext(sparkConf)

//双value,数据源类型要保持一致,拉链类型可以不一致

//会报错,因为拉链分区数量要保持一致,并且分区中的数量要一致
val rdd1: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4,5,6),2)
val rdd2: RDD[Int] = sc.makeRDD(List(3, 4, 7, 8),4)

//拉链
val rdd6: RDD[(Int, Int)] = rdd1.zip(rdd2)
println(rdd6.collect().mkString(","))

sc.stop()
}

(2)partitionBy

def main(args: Array[String]): Unit = {
val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator15")
val sc = new SparkContext(sparkConf)

val rdd = sc.makeRDD(List(1, 2, 3, 4),2)

//将int类型转换成taper类型
val maprdd: RDD[(Int, Int)] = rdd.map((_, 1))

//partitionBy根据指定的分区规则对数据重新分区
maprdd.partitionBy(new HashPartitioner(2)).saveAsTextFile("output")


sc.stop()
}

(3)reduceByKey

def main(args: Array[String]): Unit = {
val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator15")
val sc = new SparkContext(sparkConf)

val rdd = sc.makeRDD(List(("a",1),("a",2),("a",3),("b",1)))

//reduceByKey,相同的key的数据进行value数据的聚合操作
//[1,2]
//[3,3]
//[6]
val reducerdd: RDD[(String, Int)] = rdd.reduceByKey((x: Int, y: Int) => {
x + y
})

reducerdd.collect().foreach(println)


sc.stop()
}

(4)groupByKey

def main(args: Array[String]): Unit = {
val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator15")
val sc = new SparkContext(sparkConf)

val rdd = sc.makeRDD(List(("a",1),("a",2),("a",3),("b",1)))

//groupByKey,将数据源中的数据,相同的key分在一个组中,形成一个对偶元祖
val grouprdd: RDD[(String, Iterable[Int])] = rdd.groupByKey()

grouprdd.collect().foreach(println)

sc.stop()
}

(5)aggregateByKey

def main(args: Array[String]): Unit = {
val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator15")
val sc = new SparkContext(sparkConf)

val rdd = sc.makeRDD(List(("a",1),("a",2),("a",3),("a",4)),2)

//aggregateByKey操作函数柯里化,2个参数列表
//第一个参数列表,需要一个参数,表示初始值
//主要用于第一个key时,和value进行分区计算
//第二个参数列表需要2个参数
//第一个参数表示分区内的计算规则
//第二个参数表示分区间计算规则
rdd.aggregateByKey(0)(
(x,y)=>math.max(x,y),
(x,y)=>x+y
).collect().foreach(println)

sc.stop()
}

标签:val,Int,学习,rdd,寒假,进度,sc,new,sparkConf
来源: https://www.cnblogs.com/chenghaixiang/p/15760921.html