FileInputFormat切片机制和配置参数

1. FileInputFormat中默认的切片机制

（1）简单地按照文件的内容长度进行切片 
（2）切片大小，默认等于block大小
    （本地模式块大小32M，yarn模式128M，老的版本64M）
（3）切片时不考虑数据集整体，而是逐个针对每一个文件单独切片
 
    比如待处理数据有两个文件：
    file1.txt    330M
    file2.txt    10M
    经过FileInputFormat的切片机制运算后，形成的切片信息如下：  
    file1.txt.split1--  0~128
    file1.txt.split2--  128~256
    file1.txt.split3--  256~330
    file2.txt.split1--  0~10M

2.FileInputFormat切片大小的参数配置

通过分析源码，在FileInputFormat中，计算切片大小的逻辑为 Math.max(minSize, Math.min(maxSize, blockSize));

切片主要由这几个值来运算决定
mapreduce.input.fileinputformat.split.minsize=1 默认值为1
mapreduce.input.fileinputformat.split.maxsize= Long.MAXValue 默认值Long.MAXValue
因此，默认情况下，切片大小=blocksize。

maxsize（切片最大值）
参数如果调得比blocksize小，则会让切片变小，而且就等于配置的这个参数的值。

minsize（切片最小值）
参数调的比blockSize大，则可以让切片变得比blocksize还大。

3. 获取切片信息API

// 根据文件类型获取切片信息
FileSplit inputSplit = (FileSplit) context.getInputSplit();
 
// 获取切片的文件名称
String name = inputSplit.getPath().getName();
 

标签：file1,--,blocksize,切片,参数,txt,FileInputFormat
来源： https://blog.csdn.net/CharlesCFA/article/details/113708930