通过CombineTextInputFormat实现小文件优化(调优技能)

文章目录

• 0x00 文章内容
• 0x01 未修改前情况
• • • • • 1. 当前文件情况
        • 2. 执行未修改前作业
        • 3. 查看结果
• 0x02 CombineTextInputFormat实现小文件优化
• • • • • 1. 修改代码
        • 2. 执行修改后作业
        • 3. 查看结果
• 0xFF 总结

0x00 文章内容

1. 未修改前情况
2. CombineTextInputFormat实现小文件优化

说明：本文章在MapReduce编程例子之Combiner与Partitioner 的Combiner例子基础上执行。

0x01 未修改前情况

1. 当前文件情况

a. 目前/files文件夹有4个文件

[hadoop-sny@master jar]$ hadoop fs -ls /files/
Found 4 items
-rw-r--r--   1 hadoop-sny supergroup         39 2019-04-18 21:20 /files/put.txt
-rw-r--r--   1 hadoop-sny supergroup         50 2019-12-30 17:12 /files/small1.txt
-rw-r--r--   1 hadoop-sny supergroup         31 2019-12-30 17:10 /files/small2.txt
-rw-r--r--   1 hadoop-sny supergroup         49 2019-12-30 17:11 /files/small3.txt

2. 执行未修改前作业

a. 执行命令如下：

hadoop jar hadoop-learning-1.0.jar com.shaonaiyi.hadoop.CombinerWC /files/* /output/comwc/

3. 查看结果

a. 可在YARN的Web UI界面上看到有4个Map Task

0x02 CombineTextInputFormat实现小文件优化

1. 修改代码

a. 添加一行代码

   //合并小文件CombineTextInputFormat
        job.setInputFormatClass(CombineTextInputFormat.class);

2. 执行修改后作业

a. 执行命令如下（与前面一样）：

hadoop jar hadoop-learning-1.0.jar com.shaonaiyi.hadoop.CombinerWC /files/* /output/comwc/

3. 查看结果

a. 可在YARN的Web UI界面上看到只有1个Map Task

0xFF 总结

1. 一个Map Task就是一个JVM进程，将一个目录下的所有文件当成了一个split来执行，可以减少JVM的启动，从而提高性能。

---

作者简介：邵奈一
全栈工程师、市场洞察者、专栏编辑
| 公众号 | 微信 | 微博 | CSDN | 简书 |

福利：
邵奈一的技术博客导航
邵奈一 原创不易，如转载请标明出处。

---

标签：files,--,CombineTextInputFormat,未修改,jar,hadoop,调优,技能
来源： https://blog.51cto.com/u_12564104/2896716