首页 > 其他分享> > Ambari2.7.4集成Kylin3.0

Ambari2.7.4集成Kylin3.0

2022-02-25 17:32:49 作者：互联网

Ambari2.7.4集成Kylin3.0

1.准备工作

1.组件

Ambari 2.7.4
HDP 3.1.4
Kylin apache-kylin-3.0.1-bin-hadoop3.tar.gz
nginx 1.8.1
hdp-3.0-kylin-2.6.0

2. 安装包自取百度云

链接：https://pan.baidu.com/s/16mXtvHHx03S8VMHicTfe0w 提取码：xnx8

3. kylin安装包制作

3.1.解压

1.首先将jar包上传至集群 apache-kylin-3.0.1-bin-hadoop3.tar.gz (我上传的位置： /root/bigdata/apache-kylin-3.0.1-bin-hadoop3) 2.解压：tar -zxvf apache-kylin-3.0.1-bin-hadoop3.tar.gz 3.进入该文件中：cd apache-kylin-3.0.1-bin-hadoop3

3.2 配置spark客户端

kylin启动时会对SPARK环境进行检查，创建spark软连接，Kylin安装节点必须有spark客户端直接执行即可 ln -s /usr/hdp/current/spark2-client/ spark

3.3 修改find-hive-dependency.sh脚本

1.进入cd apache-kylin-3.0.1-bin-hadoop3 2.vim bin/find-hive-dependency.sh 修改34行，去掉${hive_conf_properties} (Linux文件查看行号：在非编辑模式下， shfit+： set nu 回车即可 ) 修改前： hive_env=`${beeline_shell} ${hive_conf_properties} ${beeline_params} --outputformat=dsv -e "set;" 2>&1 | grep --text 'env:CLASSPATH' ` 修改后： hive_env=`${beeline_shell} ${beeline_params} --outputformat=dsv -e "set;" 2>&1 | grep --text 'env:CLASSPATH' `

3.4拷贝jar包

直接复制即可 cp /usr/lib/ambari-server/commons-configuration-1.6.jar tomcat/lib/ cp /usr/lib/ambari-server/commons-collections-3.2.2.jar tomcat/lib/

3.5修改service.xml

1. cd /root/bigdata/apache-kylin-3.0.1-bin-hadoop3 2. vim tomcat/conf/server.xml 将以下内容注释掉

3.6 修改kylin_hive_conf.xml

1. cd /root/bigdata/apache-kylin-3.0.1-bin-hadoop3 2. vim conf/kylin_hive_conf.xml 注释掉：dfs.replication属性，mapreduce.job.split.metainfo.maxsize属性  ......  ......

3.7 打包

1. cd /root/bigdata/apache-kylin-3.0.1-bin-hadoop3 在上述位置进行下面操作 2. tar -zcvf kylin-3.0.1.tar.gz ./

4. 集成

启动httpd服务 mkdir /var/www/html/kylin mkdir /var/www/html/nginx 1.将上面打包好的kylin-3.0.1 复制 cp kylin-3.0.1.tar.gz /var/www/html/kylin/ 2.将下载好的nginx 复制 cp nginx-1.8.1.tar.gz /var/www/html/nginx/ 3. 将下载好的hdp 复制到位置 cp hdp-3.0-kylin-2.6.0.zip /var/lib/ambari-server/resources/stacks/HDP/3.1/services/ （应该复制到3.0 而不是3.1） cd /var/lib/ambari-server/resources/stacks/HDP/3.1/services （应该是3.0 而不是3.1）解压 unzip hdp-3.0-kylin-2.6.0.zip 移动kylin文件夹到servers下 cd /var/lib/ambari-server/resources/stacks/HDP/3.1/services/hdp-3.0-kylin-2.6.0 mv KYLIN/ ../ cd /var/lib/ambari-server/resources/stacks/HDP/3.1/services/KYLIN/package/scripts（应该是3.0 而不是3.1）（默认路径： /var/lib/ambari-server/resources/stacks/HDP/3.1/services/hdp-3.0-kylin-2.6.0/KYLIN/package/scripts）修改params.py 修改前：kylin_download = os.path.join('http://', ambari_server_hostname, '/kylin/kylin-2.6.0.tar.gz') 修改后：kylin_download = 'http://' + ambari_server_hostname + '/kylin/kylin-3.0.1.tar.gz' 修改前：nginx_download = os.path.join('http://', ambari_server_hostname, 'kylin/nginx-1.8.1.tar.gz') 修改后: nginx_download = 'http://' + ambari_server_hostname + '/nginx/nginx-1.8.1.tar.gz' 修改kylin_master.py、kylin_query.py 主要修改版本号 Execute(‘wget {0} -O kylin-3.0.1.tar.gz’.format(params.kylin_download)) Execute(‘tar -zxvf kylin-3.0.1.tar.gz -C {0}’.format(params.kylin_install_dir)) Execute(‘rm -rf kylin-3.0.1.tar.gz’) 修改版本号 cd /var/lib/ambari-server/resources/stacks/HDP/3.0/services/KYLIN 修改metainfo.xml service> <name>KYLIN</name> <displayName>Kylin</displayName> <comment>Kylin是一款开源的分布式数据分析工具，基于hadoop之上的sql查询接口。</comment> <version>3.0.1</version> // 修改前为：2.6. 修改后为3.0.1 ......

修改kylin环境变量

vim /var/lib/ambari-agent/tmp/kylin_env.rc 修改为： export KYLIN_HOME=/usr/hdp/3.1.4.0-315/kylin export HIVE_CONF=/usr/hdp/3.1.4.0-315/hive/conf/ export HCAT_HOME=/usr/hdp/3.1.4.0-315/hive-hcatalog/ export JAVA_HOME=/usr/java/jdk1.8/

重启ambari 服务

master节点： ambari-server restart 所有节点：清楚缓存并重启agent rm -rf /var/lib/ambari-agent/cache/* ambari-agent restart

添加kylin服务

addservice 选择kylin ，修改配置： Customize Services步骤： Advanced kylin配置 kylin_instatll_dir 值为：/usr/hdp/3.1.4.0-315/kylin Advanced nginx配置 nginx_install_dir 值为：/usr/hdp/3.1.4.0-315/nginx

标签：集成,Kylin3.0,kylin,tar,Ambari2.7,server,3.0,3.1,ambari
来源： https://www.cnblogs.com/yzqyxq/p/15937022.html