Value类型-groupBy()分组

Value类型-groupBy()分组

1、groupBy()算子函数签名：
def groupBy(f : T =>K]) : RDD[K, Iterable[T]]

2、算子·功能：
1、将原来RDD中的元素按照groupBy中的函数f的执行结果进行分组
2、结果相同的元素进入同一个迭代器
3、groupBy算子存在shuffle
4、shuffle会落盘，元素会在不同分区中乱窜

3、例子1：将偶数、奇数分别分组

1.   package com.zhaoxuan.scalatest  
2.  
3.import org.apache.spark.rdd.RDD  
4.import org.apache.spark.{SparkConf, SparkContext}  
5.  
6./**  
7.  * 3、例子1：将偶数、奇数分别分组  
8.  * */  
9.object GroupByTest1 {  
10.  def main(args: Array[String]): Unit = {  
11.    val conf : SparkConf = new SparkConf().setAppName("groupBy-Test1").setMaster("local[*]")  
12.    val sc : SparkContext = new SparkContext(conf)  
13.    val num : RDD[Int] = sc.makeRDD(1 to 10,2)  
14.    val group : RDD[(Int,Iterable[Int])] = num.groupBy(num => num % 2)  
15.    group.collect.foreach(println)  
16.  }  
17.} 

例子2：将字符串首字母相同的分一组

package com.zhaoxuan.scalatest

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

/**
  * 例子2：将字符串首字母相同的分一组
* */
object GroupByTest2 {
  def main(args: Array[String]): Unit = {
    val conf : SparkConf= new SparkConf().setAppName("groupBy-Test2").setMaster("local[*]")
    val sc : SparkContext = new SparkContext(conf)
    val strRDD : RDD[String] = sc.makeRDD(List("zx","zk","home","spark"))
    val group : RDD[(Char,Iterable[String])]= strRDD.groupBy(str => str.charAt(0))
    //简写
    val group1 : RDD[(Char,Iterable[String])]= strRDD.groupBy(_.charAt(0))
    group.collect.foreach(println)
  }
}

标签：SparkContext,String,val,Value,RDD,分组,SparkConf,groupBy
来源： https://blog.csdn.net/qq_41549462/article/details/116504490