Alluxio集群部署整合CDH(Hive/Spark)
作者:互联网
Linux环境:centos7.4
CDH:5.16.1
Java:1.8.0_131
Alluxio:2.3.0
编译
此处不再赘述,详见我另一篇文章 https://www.cnblogs.com/daemonyue/p/12975286.html
修改配置文件
cp conf/alluxio-site.properties.template conf/alluxio-site.properties
vim alluxio-site.properties
vim masters
vim workers
集群
复制文件夹到每台机器
各个机器alluxio用户相互之间免密登陆
软连接配置
为每个机器设置java软连接,需要在这些目录其中之一配置软连接
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/opt/spark/bin:/opt/spark/sbin:/root/bin
如果配置好了可以忽略,否则:
ln -s /usr/java/jdk1.8.0_131/bin/java /usr/bin/java
如果这里没有配置好的话,后面步骤就会出现如下错误
Error: Cannot find 'java' on path or under $JAVA_HOME/bin.
启动 Alluxio
创建ramdisk文件夹
之前配置的文件夹路径,需要先手动创建出来
format
./bin/alluxio format
启动
./bin/alluxio-start.sh all Mount
如果是root用户起的,使用Mount,如果是非root用户起的,用SudoMount。第一次需要这样,之后启动直接./bin/alluxio-start.sh all就可以
经过比较长时间的等待,启动完成
查看web端
使用Alluxio
这里可以把它理解为简单的文件系统,操作这个文件系统和hdfs非常相似
./bin/alluxio fs 操作命令
比如:
./bin/alluxio fs mkdir /test
标签:bin,properties,java,CDH,Hive,Alluxio,usr,Spark,alluxio 来源: https://www.cnblogs.com/daemonyue/p/12979054.html