首页 > TAG信息列表 > zstd
字符串压缩（一）之ZSTD
前言 最近项目上有大量的字符串数据需要存储到内存，并且需要储存至一定时间，于是自然而然的想到了使用字符串压缩算法对“源串”进行压缩存储。由此触发了对一些优秀压缩算法的调研。 字符串压缩，我们通常的需求有几个，一是高压缩率，二是压缩速率高，三是解压速率高。不过高压缩率比pigz性能更好的pzstd
通过pzstd替代目前pigz 资料显示的性能对比 对比 机械硬盘测试 pigz 解压21-30分钟 time tar --use-compress-program=pigz -xvpf lung_1130_211216.tgz 宿主机磁盘性能不稳定 测试可能存在偏差 sync;/usr/bin/time -p bash -c "(dd if=/dev/zero of=test.dd bs=1M轻松使用zstd来解压缩
1. 工具介绍 主要介绍 zstd 工具的作用和性能测试 我们称 Zstandard 或 Zstd 是一种快速的无损压缩算法，是针对 zlib 级别的实时压缩方案，以及更好的压缩比。它由一个非常快的熵阶段，由 Huff0 和 FSE 库提供。这个项目是作为开源的 BSD 许可收费的库，以及一个生成和解Python使用zstd压缩算法
Facebook的Zstandard（简称zstd）压缩算法逐渐流行，它有以下特点： 1，压缩、解压速度快。 这张图的横轴是压缩率，纵轴是压缩速度。在高压缩等级时，压缩率接近LZMA；在低压缩等级时，速度接近LZ4。（zstd和LZ4的作者是同一个人）在各种情况下，比常用的zlib快，可以考虑替代zlib。 下图出自这个网页，里面还迁移hbase表并进行zstd压缩
1、选择hadoop3.1.1（https://pan.baidu.com/s/1UFHq6dxoh5AiqO_cd85NTw编译后的文件）hbase2.1.7下载源码并编译 2、创建zstd包的软连接 ln -s /usr/lib64/libzstd.so /usr/local/hadoop/lib/native/libzstd.soln -s /usr/lib64/libzstd.so.1 /usr/local/hadoop/lib/native/libzstd.sjava-如何使用Zstd-jni和字节缓冲区解压缩大文件
我尝试使用ByteBuffers和Channels并行下载大量40 MB文件时解压缩.与使用Streams相比,使用Channels可以获得更高的吞吐量,我们需要这是一个非常高的吞吐量的系统,因为我们每天需要处理40 TB的文件,而这一部分目前是瓶颈.文件使用zstd-jni压缩.Zstd-jni具有用于解压缩字节缓冲区的api