一、 RDD创建

1.从本地文件系统中加载数据创建RDD

2.从HDFS加载数据创建RDD

启动hdfs

上传文件

查看文件

停止hdfs

3.通过并行集合（列表）创建RDD

二、 RDD操作

转换操作

1.filter(func)

传入lambda匿名函数

显式定义函数

2.map(func)

显式定义函数

lambda函数

flatMap(func)

分词

单词映射成键值对

reduceByKey()

统计词频，累加

乘法规则

groupByKey()

sortByKey()

sortBy()

行动操作

foreach(print)

foreach(lambda a:print(a.upper())

collect()

count()

take(n)

reduce()

标签：函数,创建,RDD,func,显式,操作,lambda
来源： https://www.cnblogs.com/orenoxuan/p/16061723.html