其他分享
首页 > 其他分享> > 林子雨-5.2 键值对RDD

林子雨-5.2 键值对RDD

作者:互联网

目录

 

1、创建键值对RDD

从文件加载

通过并行集合创建

2、常用的键值对RDD转换操作(reduceByKey和groupByKey)

3、keys,values.sortByKey,mapValues,join

4、综合实例

 

1、创建键值对RDD

从文件加载

通过并行集合创建

2、常用的键值对RDD转换操作(reduceByKey和groupByKey)

groupByKey的valueList以Iterable的形式保存(放在Iterable容器中)

用groupByKey和reduceByKey完成词频统计

3、keys,values.sortByKey,mapValues,join

keys:把key取出形成新的RDD

values:与keys同理

sortByKey():默认按Key升序排序(false为降序)

sortBy():.sortBy(_._2,false)按值降序排序

mapValues(fanc)

只对value进行操作

join

4、综合实例

 

标签:5.2,reduceByKey,keys,sortByKey,groupByKey,RDD,键值
来源: https://blog.csdn.net/helloworld0906/article/details/102729906