其他分享
首页 > 其他分享> > 第2节 mapreduce深入学习:14、mapreduce数据压缩-使用snappy进行压缩

第2节 mapreduce深入学习:14、mapreduce数据压缩-使用snappy进行压缩

作者:互联网

第2节 mapreduce深入学习:14、mapreduce数据压缩-使用snappy进行压缩

文件压缩有两大好处,节约磁盘空间,加速数据在网络和磁盘上的传输。

方式一:在代码中进行设置压缩

代码:

FlowMain:
public static void main(String[] args) throws Exception {
// 设置我们的map阶段的压缩
Configuration configuration = new Configuration();
configuration.set("mapreduce.map.output.compress","true");
configuration.set("mapreduce.map.output.compress.codec","org.apache.hadoop.io.compress.SnappyCodec");

// 设置我们的reduce阶段的压缩
configuration.set("mapreduce.output.fileoutputformat.compress","true");
configuration.set("mapreduce.output.fileoutputformat.compress.type","RECORD");
configuration.set("mapreduce.output.fileoutputformat.compress.codec","org.apache.hadoop.io.compress.SnappyCodec");
int run = ToolRunner.run(configuration, new FlowMain(), args);
System.exit(run);
}

方式二:配置全局的MapReduce压缩

我们可以修改mapred-site.xml配置文件,然后重启集群,以便对所有的mapreduce任务进行压缩(一般不这么配置)

map输出数据进行压缩

<property>

          <name>mapreduce.map.output.compress</name>

          <value>true</value>

</property>

<property>

         <name>mapreduce.map.output.compress.codec</name>

         <value>org.apache.hadoop.io.compress.SnappyCodec</value>

</property>

reduce输出数据进行压缩

<property>      

  <name>mapreduce.output.fileoutputformat.compress</name>

       <value>true</value>

</property>

<property>         

  <name>mapreduce.output.fileoutputformat.compress.type</name>

        <value>RECORD</value>

</property>

 <property>       

  <name>mapreduce.output.fileoutputformat.compress.codec</name>

 

        <value>org.apache.hadoop.io.compress.SnappyCodec</value>

</property>

 

运行结果:生成如下的压缩文件。

注意:我们不方便人工打开这些压缩文件,但是程序会自动按照其后缀名解压缩这些文件,然后传递给下一步使用。

 

标签:14,压缩,compress,mapreduce,snappy,fileoutputformat,output,configuration
来源: https://www.cnblogs.com/mediocreWorld/p/11028335.html