其他分享
首页 > 其他分享> > Hive安装部署

Hive安装部署

作者:互联网

文章目录


前言

为了后续更好的学习hive数仓,这里先附上Hive安装部署的教程。后续文章会详细讲解hive的原理和使用。安装Hive的前置条件是:
1.安装好对应版本的hadoop集群,并启动hadoop的HDFS以及YARN服务;
2.安装了MySQL服务,并启动MySQL的服务


1. root用户下安装mysql

2. 安装mysql

2.1 下载并安装mysql官方的yum源

安装到第三个节点node03上

[hadoop@node03 ~]$ su root
[root@node03 hadoop]# cd /kkb/soft/
[root@node03 soft]# yum -y install wget

出现Installed!字样,表示成功安装

[root@node03 soft]# wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm

-i 指定输入文件

-c 表示断点续传

2.2 安装mysql

[root@node03 soft]# yum -y install mysql57-community-release-el7-10.noarch.rpm
[root@node03 soft]# yum -y install mysql-community-server

3. 设置mysql

3.1 mysql服务

[root@node03 soft]# systemctl start mysqld.service
[root@node03 soft]# systemctl status mysqld.service

下图active(running)表示mysql服务已启动
在这里插入图片描述

3.2 修改密码

[root@node03 hadoop]# grep "password" /var/log/mysqld.log

注意:不同人的临时密码不一样,根据自己的实际情况而定

fHy3Su:&REkh

在这里插入图片描述

[root@node03 hadoop]# mysql -uroot -p
set global validate_password_policy=LOW;

关键字“Query OK”表示,sql语句执行成功

set global validate_password_length=6;

在这里插入图片描述

ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';
grant all privileges  on  *.* to 'root'@'%' identified by '123456' with grant option;
flush privileges;
exit

2. Hive的安装部署

注意hive就是一个构建数据仓库的工具,只需要在一台服务器上安装就可以了,不需要在多台服务器上安装。

此处以安装到node03为例;

使用hadoop普通用户操作

1.1 先决条件

1.2 准备安装包

我这里准备好了安装包供下载,或者也可以关注我的公众号回复hive获取安装包

mysql-connector的jar包 链接: 
https://pan.baidu.com/s/1PDyYDXX-PIohe-m7pk4GLA  密码: hftp
hive安装包 
链接: https://pan.baidu.com/s/1GI3mLcvobzGQbOcwruwFzA  密码: jign

1.3 解压

[hadoop@node03 ~]$ cd /kkb/soft/
[hadoop@node03 soft]$ tar -xzvf hive-1.1.0-cdh5.14.2.tar.gz -C /kkb/install/

1.4 修改配置文件

[hadoop@node03 soft]$ cd /kkb/install/hive-1.1.0-cdh5.14.2/conf/
[hadoop@node03 conf]$ mv hive-env.sh.template hive-env.sh
[hadoop@node03 conf]$ vim hive-env.sh 
#配置HADOOP_HOME路径
export HADOOP_HOME=/kkb/install/hadoop-2.6.0-cdh5.14.2/

#配置HIVE_CONF_DIR路径
export HIVE_CONF_DIR=/kkb/install/hive-1.1.0-cdh5.14.2/conf

在这里插入图片描述
修改配置文件hive-site.xml

[hadoop@node03 conf]$ vim hive-site.xml
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://node03:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=latin1&amp;useSSL=false</value>
        </property>

        <property>
                <name>javax.jdo.option.ConnectionDriverName</name>
                <value>com.mysql.jdbc.Driver</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>root</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionPassword</name>
                <value>123456</value>
        </property>
        <property>
                <name>hive.cli.print.current.db</name>
                <value>true</value>
        </property>
        <property>
                <name>hive.cli.print.header</name>
            <value>true</value>
        </property>
    	<property>
                <name>hive.server2.thrift.bind.host</name>
                <value>node03</value>
        </property>
</configuration>

修改日志配置文件hive-log4j.properties

[hadoop@node03 conf]$ mkdir -p /kkb/install/hive-1.1.0-cdh5.14.2/logs/
[hadoop@node03 conf]$ pwd
/kkb/install/hive-1.1.0-cdh5.14.2/conf
[hadoop@node03 conf]$ mv hive-log4j.properties.template hive-log4j.properties
[hadoop@node03 conf]$ vim hive-log4j.properties # 修改文件
#更改以下内容,设置我们的hive的日志文件存放的路径,便于排查问题
hive.log.dir=/kkb/install/hive-1.1.0-cdh5.14.2/logs/

在这里插入图片描述

1.5 拷贝mysql驱动包

[hadoop@node03 ~]$ cd /kkb/soft/
[hadoop@node03 soft]$ cp mysql-connector-java-5.1.38.jar /kkb/install/hive-1.1.0-cdh5.14.2/lib/

1.6 配置Hive环境变量

[hadoop@node03 soft]$ su root
Password:
[root@node03 soft]# vim /etc/profile
export HIVE_HOME=/kkb/install/hive-1.1.0-cdh5.14.2
export PATH=$PATH:$HIVE_HOME/bin
[root@node03 soft]# su hadoop
[hadoop@node03 soft]$ source /etc/profile

1.7 验证安装

[hadoop@node03 ~]$ hive
show databases;

在这里插入图片描述

quit;

总结

至此,数仓工具hive已安装完成,接下来就可以愉快的学习hive的相关知识了。获取更多干货,请关注我的个人公众号,关注领取福利

在这里插入图片描述

标签:node03,部署,root,hadoop,hive,Hive,mysql,安装,soft
来源: https://blog.csdn.net/qq_34577182/article/details/114585141