启动spark

1.启动spark命令

1. start-dfs.sh
2. start-yarn.sh
3. start-spark-all.sh
4. start-history-server.sh
5. spark-shell --master spark://node1:7077

2. 创建RDD数据集

1. 从现有的Scala集合创建RDD数据集

1. parallelize(Seq, numSlices):第二个参数不用传递，代表创建的RDD的分区数，如果没传递，有一个默认值
   默认分区就是spark.default.parallelism
   如果master是local[n]，那么这个值就是n，如果yarn和standalone上运行的话，spark.default.parallelism=yarn/standalone
2. makeRDD也是从集合中创建RDD数据集
   makeRDD(Seq, numSlices) -- 底层是parallelize实现的
   makeRDD(Seq( ( T, Seq(String) ) ) ) -- 这种方式可以指定分区数据在那个节点上

2. 从外部文件系统创建RDD数据集（HDFS）

3. 从另外一个RDD使用转换算子创建RDD数据集

标签：Seq,start,创建,启动,RDD,sh,spark
来源： https://www.cnblogs.com/jsqup/p/16612885.html