其他分享
首页 > 其他分享> > 【Spark】【RDD】从本地文件系统创建RDD

【Spark】【RDD】从本地文件系统创建RDD

作者:互联网

练习作业

完成任务从文件创建三个RDD(math bigdata student)

cd ~
touch math
touch bigdata
touch student
pwd

启动Spark-shell


var localrdd1 = sc.textFile("file:///home/用户名/math")
var localrdd2 = sc.textFile("file:///home/用户名/bigdata")
var localrdd3 = sc.textFile("file:///home/用户名/student")
localrdd1.collect
localrdd2.collect
localrdd3.collect

标签:var,文件系统,bigdata,RDD,file,touch,home,Spark,math
来源: https://www.cnblogs.com/mllt/p/spark_rdd_useFilesCreateRDD.html