其他分享
首页 > 其他分享> > MapReduce的FileInputFormat实现类对比

MapReduce的FileInputFormat实现类对比

作者:互联网

FileInputFormat实现类对比

切片KV值
TextInputFormat按块大小,小文件就是文件个数K:偏移量longWritable; V:这一行内容
KeyValueTextInputFormat按块大小,小文件就是文件个数K:文件第一列 V:文件该行剩下的内容
NLineInputFormat按N行切片。看N值,K: 偏移量; V:这一行内容
CombineTextInputFormat与设置最大值有关,文件小于最大值,会将小文件合并到一起(合并到大于最大值为止)为一个切片K: 偏移量longWritable; V:这一行内容
自定义InputFormat按块大小,小文件就是文件个数K: Text V:BytesWritable 自己定义的

标签:文件,最大值,个数,MapReduce,偏移量,切片,按块,FileInputFormat,对比
来源: https://blog.csdn.net/weixin_42277332/article/details/114663140