大数据之-Hadoop3.x_MapReduce_ReduceTask工作机制&并行度---大数据之hadoop3.x工作笔记0125

然后我们继续看一下maptask的工作机制,这个前面也有提过了,

可以看到左边是maptask处理完的数据,然后到了reduceTask阶段,会首先把数据

拉取过来当然,是按照分区拉取的对吧.这是copy阶段

数据拿过来以后,对数据进行合并归并排序,可以看到,不同maptask中的,分区0,会给弄到一个

reduceTask中去,合并排序,同理,分区1,会弄到一个reduceTask2中....

这个阶段是sort阶段.

标签：0125,reduceTask,分区,ReduceTask,maptask,并行度,阶段,拉取,数据
来源： https://blog.csdn.net/lidew521/article/details/122201098