其他分享
首页 > 其他分享> > HIve 常见数据压缩方式对比

HIve 常见数据压缩方式对比

作者:互联网

 

转自:https://blog.csdn.net/weixin_36714575/article/details/8009157

可以参考:https://blog.csdn.net/weixin_43230682/article/details/107185876


五.结论
1.在压缩存储时间上,除Sequencefile外基本都相差无几。

2.数据压缩比例上ORC最优,相比textfile节省了50倍磁盘空间,parquet压缩性能也较好。

3.SQL查询速度而言,ORC与parquet性能较好,远超其余存储格式。

综合上述各种性能指标,建议工作中原始日志写入hive的存储格式都采用ORC或者parquet格式,这和目前主流的做法一致。

 

 

 

标签:存储,HIve,对比,blog,csdn,parquet,格式,ORC,数据压缩
来源: https://blog.csdn.net/youhuakongzhi/article/details/114438447