Scala当中parallelize并行化的用法

[学习笔记]

parallelize并行化集合是根据一个已经存在的Scala集合创建的RDD对象。集合的里面的元素将会被拷贝进入新创建出的一个可被并行操作的分布式数据集。
例如：val rdd03 = sc.parallelize(List(1, 4, 3, 7, 5)) 根据系统环境来进行切分多个slice，每一个slice启动一个Task来进行处理。
val rdd03 = sc.parallelize(List(1, 4, 3, 7, 5), 5) 指定了partition的数量为5,
makeRDD和parallelize的区别？makeRDD函数有两种实现，第一种实现其实完全和parallelize一致。而第二种实现可以为数据提供位置信息，除此之外，和parallelize是一致的
 */
    val rdd03 = sc.parallelize(List(1, 4, 3, 7, 5), 3)
    val rdd03_1 = rdd03.map { x => x + 1 }
    println("map2 用法  is 马克-to-win @ 马克java社区：" + rdd03_1.collect().mkString(","))

    val rdd04 = sc.parallelize(List(1, 4, 3, 7, 5), 3)
    val rdd04_1 = rdd04.filter { x => x > 3 }
    println("filter2 用法 马克-to-win @ 马克java社区：" + rdd04_1.collect().mkString(","))

    val rdd05: RDD[Int] = sc.makeRDD(Array(1, 4, 3))
    val rdd06: RDD[Int] = sc.makeRDD(Array(7, 5))
    myunion(rdd05, rdd06)
    /*reduce(function)

文章转载自原文：https://blog.csdn.net/qq_44596980/article/details/93310016

标签：rdd03,parallelize,val,Scala,List,makeRDD,并行,sc
来源： https://www.cnblogs.com/haima1949/p/11256267.html