Reducetask并行度机制

reducetask并行度同样影响整个job的执行并发度和执行效率，与maptask的并发数由切片数决定不同，Reducetask数量的决定是可以直接手动设置：

job.setNumReduceTasks(4);

如果数据分布不均匀，就有可能在reduce阶段产生数据倾斜。

注意： reducetask数量并不是任意设置，还要考虑业务逻辑需求，有些情况下，需要计算全局汇总结果，就只能有1个reducetask。

数据倾斜与解决方式 图示：

标签：reducetask,倾斜,Reducetask,并行度,并发,job,机制
来源： https://www.cnblogs.com/TiePiHeTao/p/2a3f470617adbdf6c30b8f22365c3ec3.html