Centos7.X安装impala(RPM方式)
作者:互联网
Centos7.5安装Impala
一、安装包准备
1.1、Impala下载地址
http://archive.cloudera.com/beta/impala-kudu/redhat/7/x86_64/impala-kudu/0/RPMS/x86_64/
1.2、impala依赖下载地址
http://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.9.0/RPMS/noarch/
1.3、Impala其他依赖
cyrus-sasl-plain lsb
由于lsb依赖过多,需要在内网配置一个本地yum源;且大数据平台需要配置一个统一ntp时间同步服务器;
1.4、将下载好的rpm包上传服务器
二、实施安装
(hadoop,hive集群已安装好,且正常启动状态)
2.1、安装其他依赖
cyrus-sasl-plain lsb ntp服务,如果ntp服务单独在整个大数据平台安装,此处就不需要安装
yum install -y cyrus-sasl-plain lsb (主从节点)
2.2、安装rpm包
主节点:
sudo rpm -ivh bigtop-utils-0.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.30.el7.noarch.rpm
sudo rpm -ivh impala-kudu-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm --nodeps
sudo rpm -ivh impala-kudu-catalog-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm
sudo rpm -ivh impala-kudu-server-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm
sudo rpm -ivh impala-kudu-state-store-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm
sudo rpm -ivh impala-kudu-shell-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm
sudo rpm -ivh impala-kudu-udf-devel-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm
从节点:
sudo rpm -ivh bigtop-utils-0.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.30.el7.noarch.rpm
sudo rpm -ivh impala-kudu-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm --nodeps
sudo rpm -ivh impala-kudu-server-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm
sudo rpm -ivh impala-kudu-shell-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm
sudo rpm -ivh impala-kudu-udf-devel-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm
三、配置impala
3.1、配置bigtop-utils
vim /etc/default/bigtop-utils(主从节点)
3.2、配置impala
/etc/default/impala(主从节点)
IMPALA_CATALOG_SERVICE_HOST=infobeat-web #infobeat-web为impala主节点域名
IMPALA_STATE_STORE_HOST=infobeat-web #infobeat-web为impala主节点域名
3.3、整合hdfs和hive
配置impala的conf文件(主从节点)
把hadoop配置文件core-site.xml和hdfs-site.xml,以及hive配置文件hive-site.xml拷贝到/etc/impala/conf.dist/目录下
同时编辑core-site.xml、hdfs-site.xml配置文件,在原有基础上追加如下修改:
#hdfs-site.xml
<!--impala configuration -->
<property>
<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.block.local-path-access.user</name>
<value>impala</value>
</property>
<property>
<name>dfs.client.file-block-storage-locations.timeout.millis</name>
<value>60000</value>
</property>
<property>
<name>dfs.domain.socket.path</name>
<value>/var/run/hadoop-hdfs/dn._PORT</value> #hadoop-hdfs手动创
</property>
# core-site.xml
<!--impala configuration -->
<property>
<name>dfs.client.read.shortcircuit</name>
<value>true</value>
</property>
<property>
<name>dfs.client.read.shortcircuit.skip.checksum</name>
<value>false</value>
</property>
<property>
<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
<value>true</value>
</property>
3.4、重启hadoop集群
stop-all.sh
3.5、设置scoket path
在目录/var/run/目录下新建目录hadoop-hdfs(主从节点)
注意:该文件夹可能已经存在,应当确认用impala是否有权限进行读写。如果已经存在,将用户impala加入该文件所属的组,并修改该文件组的权限即: chown -R 775 hadoop-hdfs/
[root@hadoop]# cd /var/run/ #进入目录/var/run/
[root@hadoop]#mkdir hadoop-hdfs #创建目录hadoop-hdfs文件夹
[root@hadoop]# chown -R 775 hadoop-hdfs/ #设置权限
3.6、权限配置
如果想要impala和yarn合作,需要把impala用户加入hdfs组(主从节点);
impala在执行drop table操作时,需要把文件移到到hdfs的回收站,所以需要创建一个hdfs的目录/user/impala,并将其设置为impala用户可写。
同样,impala需要读取hive数据仓库下的数据,故需要把impala用户加入hive组。
[root@hadoop]#usermod -G hdfs,hadoop impala
[root@hadoop]# groups impala
impala:impala hdfs hadoop
另:创建impala在hdfs上的目录并设置权限
[root@hadoop]$ hadoop fs -mkdir -p /user/impala
[root@hadoop]$ hadoop fs -chown impala /user/impala
3.7、添加mysql驱动
在/var/lib/impala/目录下面添加mysql驱动jar
四、启动impala
4.1、启动主节点
[root@hadoop]# service impala-state-store restart
[root@hadoop]# service impala-catalog restart
[root@hadoop]# service impala-server restart
4.2、启动从节点
[root@hadoop]# service impala-server restart
4.3、服务验证
注意:
1、因为impala安装需要root权限,所以可以给hadoop用户添加sudo权限
gpasswd -a hadoop wheel #root执行
————————————————
版权声明:本文为CSDN博主「火树银花之处」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/zcf1319/article/details/106085599/
标签:hdfs,impala,hadoop,cdh5.9,Centos7,rpm,root,RPM 来源: https://www.cnblogs.com/javalinux/p/14902289.html