实践：Hadoop-3.0.0-cdh6.3.2 移植指南（CentOS 7）

前言

虽然本文参考了鲲鹏BoostKit大数据使能套件之Hadoop-3.0.0-cdh6.3.2 移植指南（CentOS 7.6）和CentOS 7.2 环境编译 hadoop-2.6.0-cdh5.15.1，参考此两文虽不是很顺畅，但解决了大部分问题。现在只能编译成功部分扩展功能，而暂时无法实现Add Codec for ZStandard Compression，现状如下：
若把华为云上的编译命令由

mvn install -Pdist,native -DskipTests -Dtar -Drequire.isal -Dbundle.isal -Disal.lib=/opt/module/isa-l-2.29.0/.libs/ -Drequire.zstd -Dbundle.zstd -Dzstd.lib=/opt/module/zstd-1.4.4/lib/ -Drequire.snappy -Dbundle.snappy -Dsnappy.lib=/usr/lib64/

改为

mvn install -Pdist,native -DskipTests -Dtar -Drequire.isal -Dbundle.isal -Disal.lib=/opt/module/isa-l-2.29.0/.libs/ -Drequire.snappy -Dbundle.snappy -Dsnappy.lib=/usr/lib64/ -Dmaven.javadoc.skip=true -DskipTests=true

便能够成功编译并使其集成isal、snappy等本地库功能，但难道若使用谷歌zstd压缩算法，必须修改hadoop3的源码？因为我看到了：HADOOP-17125. Use snappy-java in SnappyCodec
有没有人一起探索的？

标签：isal,lib,CentOS,cdh6.3,Hadoop,snappy,Dbundle,Drequire
来源： https://blog.csdn.net/benpaodexiaowoniu/article/details/115432197