reduceByKey和groupByKey的区别
作者:互联网
reduceByKey和groupByKey的区别
1. reduceByKey:按照key进行聚合,在shuffle之前有combine(预聚合)操作,返回结果是RDD[k,v].
2. groupByKey:按照key进行分组,直接进行shuffle。
3. 开发指导:reduceByKey比groupByKey,建议使用。但是需要注意是否会影响业务逻辑。
标签:聚合,区别,groupByKey,reduceByKey,key,shuffle 来源: https://blog.csdn.net/m0_37294838/article/details/90083446