Hadoop 数据压缩
作者：互联网
文章目录
概述
1）压缩的好处和坏处
压缩的优点：以减少磁盘 IO、减少磁盘存储空间。
压缩的缺点：增加 CPU 开销。
2）压缩原则
（1）运算密集型的 Job，少用压缩
（2）IO 密集型的 Job，多用压缩
MR 支持的压缩编码
1）压缩算法对比介绍
| 压缩格式 | Hadoop 自带？ | 算法 | 文件扩展名 | 是否可切片 | 换成压缩格式后，原来的程序是否需要修改 |
|---|---|---|---|---|---|
| DEFLATE | 是，直接使用 | DEFLATE | .deflate | 否 | 和文本处理一样，不需要修改 |
| Gzip | 是，直接使用 | DEFLATE | .gz | 否 | 和文本处理一样，不需要修改 |
| bzip2 | 是，直接使用 | bzip2 | .bz2 | 是 | 和文本处理一样，不需要修改 |
| LZO | 否，需要安装 | LZO | .lzo | 是 | 需要建索引，还需要指定输入格式 |
| Snappy | 是，直接使用 | Snappy | .snappy | 否 | 和文本处理一样，不需要修改 |
2）压缩性能的比较
| 压缩算法 | 原始文件大小 | 压缩文件大小 | 压缩速度 | 解压速度 |
|---|---|---|---|---|
| gzip | 8.3GB | 1.8GB | 17.5MB/s | 58MB/s |
| bzip2 | 8.3GB | 1.1GB | 2.4MB/s | 9.5MB/s |
| LZO | 8.3GB | 2.9GB | 49.3MB/s | 74.6MB/s |
http://google.github.io/snappy/
Snappy is a compression/decompression library. It does not aim for maximum compression, or compatibility with any other compression library; instead, it aims for very high speeds and reasonable compression. For instance, compared to the fastest mode of zlib, Snappy is an order of magnitude faster for most inputs, but the resulting compressed files are anywhere from 20% to 100% bigger.On a single core of a Core i7 processor in 64-bit mode, Snappy compresses at about 250 MB/sec or more and decompresses at about 500 MB/sec or more.
Snappy是一个压缩/解压库。它不以最大压缩为目标，也不与任何其他压缩库兼容;相反，它的目标是非常高的速度和合理的压缩。例如，与最快的zlib模式相比，对于大多数输入来说，Snappy的速度要快一个数量级，但生成的压缩文件要大20%到100%。在64位模式的酷睿i7处理器的单核上，Snappy压缩速度约为250mb /秒，解压缩速度约为500mb /秒。
压缩方式选择
压缩方式选择时重点考虑：压缩/解压缩速度、压缩率（压缩后存储大小）、压缩后是否可以支持切片。
Gzip 压缩
优点：压缩率比较高；
缺点：不支持 Split；压缩/解压速度一般；
Bzip2 压缩
优点：压缩率高；支持 Split；
缺点：压缩/解压速度慢。
Lzo 压缩
优点：压缩/解压速度比较快；支持 Split；
缺点：压缩率一般；想支持切片需要额外创建索引。
Snappy 压缩
优点：压缩和解压缩速度快；
缺点：不支持 Split；压缩率一般； 4.3.5 压缩位置选择
压缩可以在 MapReduce 作用的任意阶段启用。
压缩参数配置
1）为了支持多种压缩/解压缩算法，Hadoop 引入了编码/解码器
| 压缩格式 | 对应的编码/解码器 |
|---|---|
| DEFLATE | org.apache.hadoop.io.compress.DefaultCodec |
| gzip | org.apache.hadoop.io.compress.GzipCodec |
| bzip2 | org.apache.hadoop.io.compress.BZip2Codec |
| LZO | com.hadoop.compression.lzo.LzopCodec |
| Snappy | org.apache.hadoop.io.compress.SnappyCodec |
2）要在 Hadoop 中启用压缩，可以配置如下参数
| 参数 | 默认值 | 阶段 | 建议 |
|---|---|---|---|
| io.compression.codecs （在 core-site.xml 中配置） | 无，这个需要在命令行输入hadoop checknative 查看 | 输入压缩 | Hadoop 使用文件扩展名判断是否支持某种编解码器 |
| mapreduce.map.output.compress（在 mapred-site.xml 中配置） | false | mapper 输出 | 这个参数设为 true 启用压缩 |
| mapreduce.map.output.compress.codec（在 mapredsite.xml 中配置） | org.apache.hadoop.io.compress.DefaultCodec | mapper 输出 | 企业多使用 LZO 或 Snappy 编解码器在此阶段压缩数据 |
| mapreduce.output.fileoutputformat.compress（在mapred-site.xml 中配置） | false | reducer 输出 | 这个参数设为 true 启用压缩 |
| mapreduce.output.fileoutputformat.compress.codec（在mapred-site.xml 中配置） | org.apache.hadoop.io.compress.DefaultCodec | reducer 输出 | 使用标准工具或者编解码器，如 gzip 和bzip2 |
标签：MB,压缩,compress,Hadoop,hadoop,Snappy,io,数据压缩 来源： https://blog.csdn.net/weixin_45417821/article/details/121040217