【Spark】【RDD】从内存（集合）创建RDD

val list = List(1,2,3)
var rdd = sc.parallelize(list)
rdd.partitions.size

通过调用SparkContext的parallelize方法，在一个已经存在的Scala集合上创建的（一个Seq对象）。
集合的对象将会被拷贝，创建出一个可以被并行操作的分布式数据集。

一旦分布式数据集（distData）被创建好，它们将可以被并行操作。
例如，我们可以调用distData.reduce(lambda a, b: a + b)来将数组的元素相加。

并行集合的一个重要参数是slices，表示数据集切分的份数。
Spark将会在集群上为每一份数据起一个任务。
典型地，你可以在集群的每个CPU上分布2-4个slices.
一般来说，Spark会尝试根据集群的状况，来自动设定slices的数目

然而，你也可以通过传递给parallelize的第二个参数来进行手动设置。
（例如:sc.parallelize(data,10)).

[本段为引用，作者信息如下]
作者：追赶的程序猿
链接：https://www.jianshu.com/p/c688b8856dd8
来源：简书

标签：parallelize,slices,创建,RDD,集群,内存,集合,Spark
来源： https://www.cnblogs.com/mllt/p/spark_rdd_useListCreateRDD.html