spark RDD的创建方式

1. 从集合（内存中创建出来）RDD

   val sparkConf = new sparkConf().setMaster("local[*]").setAppName("spark")
   val sparkContext = new SparkContext(sparkConf)
   val rdd1 = sparkContext.parallelize(
     List(1,2,3,4)
   )
   val add2 = sparkContext.makeRDD(
     List(1,2,3,4)
   )
   rdd1.collect().foreach(println)
   rdd2.collect().foreach(println)
   sparkContext.stop()
   
   

2. 从外部存储（文件）创建RDD

   val sparkConf = new SparkConf().setMaster("local[*]").setAppName("spark")
   val sparkContext = new SparkContext(sparkConf)
   val fileRDD: RDD [ String ] = sparkContext.textFile("input")
   sparkContext.stop()
   
   

3. 从其他的RDD创建
   主要是通过一个RDD运算后，再产生新的RDD
4. 直接创建RDD（new）
   使用new的方式直接构造RDD，一般由spark框架自身使用

标签：sparkContext,val,创建,RDD,new,spark,sparkConf
来源： https://www.cnblogs.com/lambertlt/p/16607193.html