其他分享
首页 > 其他分享> > 4.RDD操作

4.RDD操作

作者:互联网

一、 RDD创建

1.从本地文件系统中加载数据创建RDD

2.从HDFS加载数据创建RDD

启动hdfs

上传文件

查看文件

加载

停止hdfs

 

3.通过并行集合(列表)创建RDD

输入列表、字符串、numpy生成数组

二、 RDD操作

转换操作

1.map(func)
显式定义函数

lambda函数

2.filter(func)
lambda函数

显式定义函数

 

行动操作

foreach(print)

collect()

 

 

标签:hdfs,函数,创建,RDD,显式,操作,加载
来源: https://www.cnblogs.com/passerby-/p/16012927.html