首页 > TAG信息列表 > FileInputFormat
hivesql优化-FileInputFormat中切片的大小的参数
hive.exec.parallel可以控制一个sql中多个可并行执行的job的运行方式.当hive.exec.parallel为true的时候,同一个sql中可以并行执行的job会并发的执行. 而参数hive.exec.parallel.thread.number就是控制对于同一个sql来说同时可以运行的job的最大值,该参数默认为8.此时最大可以同时Hadoop MapReduce 框架原理 | InputFormat 数据输入
文章目录 一、切片与MapTask并行度决定机制二、Job提交流程三、切片执行流程解析四、FileInputFormat切片机制五、TextInputFormat六、CombineTextInputFormat切片机制 一、切片与MapTask并行度决定机制 MapTask的并行度决定Map阶段的任务处理并发读，进而影响到整个Job的MapReduce的FileInputFormat实现类对比
FileInputFormat实现类对比 类切片KV值TextInputFormat按块大小，小文件就是文件个数K:偏移量longWritable； V：这一行内容KeyValueTextInputFormat按块大小，小文件就是文件个数K：文件第一列 V:文件该行剩下的内容NLineInputFormat按N行切片。看N值，K: 偏移量； V：这一行内容CombineTextFileInputFormat切片机制和配置参数
1. FileInputFormat中默认的切片机制 （1）简单地按照文件的内容长度进行切片 （2）切片大小，默认等于block大小 （本地模式块大小32M，yarn模式128M，老的版本64M） （3）切片时不考虑数据集整体，而是逐个针对每一个文件单独切片 比如待处理数据有两个文件： file1.txt 330M f8.2.1输入分片InputSplit和输入处理格式FileInputFormat
1.1.1 输入分片和记录 （1）输入分片InputSplit接口 输入分片一般是文件，也可以数据库中的若干行。记录对应一行数据。输入分片在java表示为InputSplit接口，getlength函数返回大小，用于分片排序，大的先处理。Getlocation函数返回分片位置，让map任务尽量本地化。分MapReduce并行度机制
MapTask的并行度指的是map阶段有多少个并行的task共同处理任务。map阶段的任务处理并行度，势必影响到整个job的处理速度。那么，MapTask并行实例是否越多越好呢？其并行度又是如何决定呢？ 一个MapReducejob的map阶段并行度由客户端在提交job时决定，即客户端提交job之前会对待处理数据进行