Hadoop数据切片与MapTask并行度决定机制
作者：互联网
1、MapTask并行度决定机制
数据块：Block是HDFS物理上把数据分成一块一块。
数据切片：数据切片只是在逻辑上对输入进行分片，并不会在磁盘上将其切分成片进行存储。
假设切片大小设置成100M
（1）一个job的Map阶段并行度由客户端在提交job时的切片数决定
（2）每一个split切片分配一个MapTask并行实例处理
（3）默认情况下，切片大小=BlockSize
（4）切片时不考虑数据集整体，而是逐个针对每一个文件单独切片
2、Job提交流程源码和切片源码详解
3、FileInputFormat切片源码解析(input.getSplits(job))
（1）程序先找到数据存储的目录
（2）开始遍历目录下的每一个文件
i）获取文件大小fs.sizeOf(test.txt)
ii）计算切片大小
computeSplitSize(Math.max(minSize,Math.min(maxSize,blockSize)))
iii）每次切片都要判断切完剩下的部分是否大于块的1.1倍，不大于1.1倍就划分为一块切片
iV）将切片信息写入一个切片规划文件中
v）整个切片核心过程在getSplit()方法中完成
vi）InputSplit只记录切片的元数据信息，比如起始位置，长度以及所在的节点列表等
（3）提交切片规划文件到yarn上，yarn上的mrAppMaster就可以根据切片规划文件计算开启MapTask的个数
4、FileInputFormat切片的参数配置
（1）Math.max(minSize,Math.min(maxSize,blockSize))
minSize默认是1，maxSize默认是Long.MaxValue
默认切片大小是blockSize
（2）切片大小设置
maxSize参数如果调的比blockSize小，则会让切片变小，而且就等于配置的参数值
minSize参数调的比blockSize大，则可以让切片变的比blockSize大
（3）获取切片信息API
获取切片的文件名称：
inputSplit.getPath().getName()
根据文件类型获取切片信息
5、CombineTextInputFormat切片机制
框架默认的TextInputFormat切片机制是对任务按文件规划切片，不管文件多小，都会是一个单独的切片，都会交给一个MapTask，这样如果有大量小文件，就会产生大量的MapTask，处理效率极其低下。
CombineTextInputFormat用于小文件过多的场景，它可以将多个小文件从逻辑上规划到一个切片中，这样，多个小文件就可以交给一个MapTask处理。
（1）虚拟存储切片最大值设置
CombineFileInputFormat.setMaxInputSplitSize(job,4194304);//虚拟存储切片最大值设置：4M
注意：为了测试方便，设置为4M，虚拟存储切片最大值设置最好根据实际的小文件大小情况来设置具体的值。
（2）切片机制
生成切片过程包括：虚拟存储过程和切片过程二部分。
i）虚拟存储过程
将输入目录下所有文件大小，依次和设置的setMaxInputSplitSize值比较，如果不大于设置的最大值，逻辑上划分一个块。如果输入文件大于设置的最大值且大于两倍，那么以最大值切割一块；当剩余数据大小超过设置的最大值且不大于最大值2倍，此时将文件均分成2个虚拟存储块（防止出现太小切片）。
例如setMaxInputSplitSize值为4M，输入文件大小为8.02M，则先逻辑上分成一个4M。剩余的大小为4.02M，如果按照4M逻辑划分，就会出现0.02M的小的虚拟存储文件，所以将剩余的4.02M文件切分成（2.01M和2.01M）两个文件。
ii）切片过程
（a）判断虚拟存储的文件大小是否大于setMaxInputSplitSize值，大于等于则单独形成一个切片。
（b）如果不大于则跟下一个虚拟存储文件进行合并，共同形成一个切片。
（c）测试举例：有4个小文件大小分别为1.7M、5.1M、3.4M以及6.8M这四个小文件，则虚拟存储之后形成6个文件块，大小分别为：
1.7M，（2.55M、2.55M），3.4M以及（3.4M、3.4M）
最终会形成3个切片，大小分别为：
（1.7+2.55）M，（2.55+3.4）M，（3.4+3.4）M
（3）在Driver代码里引入CombineTextInputFormat
// 如果不设置InputFormat，它默认用的是TextInputFormat.class job.setInputFormatClass(CombineTextInputFormat.class); //虚拟存储切片最大值设置4m CombineTextInputFormat.setMaxInputSplitSize(job, 4194304);
zuodaoyong
发布了60 篇原创文章 · 获赞 2 · 访问量 2341
私信
关注
标签：文件,最大值,虚拟存储,MapTask,Hadoop,切片,3.4,并行度 来源： https://blog.csdn.net/zuodaoyong/article/details/104082978