其他分享
首页 > 其他分享> > hadoop2.7.1完全分布式安装步骤

hadoop2.7.1完全分布式安装步骤

作者：互联网

环境搭建目标
在这里插入图片描述
Hadoop版本2.7.1
Centos版本7.5
VMware Workstation 版本14pro
jdk版本1.8

一、基础环境

1、时间同步

#（1）首先安装 ntpdate 命令：
yum install -y ntpdate
#（2）接着执行如下命令开始同步：
ntpdate 0.asia.pool.ntp.org
#（3）最后执行如下命令将系统时间同步到硬件，防止系统重启后时间被还原。
hwclock --systohc

2、安装jdk1.8
安装方法
3、配置hosts文件

#修改Centos中的hosts
vim /etc/hosts

添加主机名和端口号
在这里插入图片描述
二、克隆虚拟机镜像
1、关闭虚拟机，点击虚拟机快照。然后点克隆
在这里插入图片描述在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
2、配置固定ip地址
windows方式
Mac方式
注意，四个虚拟机都要配
3、修改主机名

 vi /etc/hostname
 #分别为node1\node2\node3\node4

4、重启虚拟机

三、免秘钥设置

免密登录原理
在这里插入图片描述

#进入.ssh目录
cd .ssh
#生成公钥和私钥
ssh-keygen -t rsa

id_rsa（私钥）、id_rsa.pub（公钥）
在这里插入图片描述

#将公钥拷贝到要免密登录的目标机器上
ssh-copy-id node2
ssh-copy-id node3
ssh-copy-id node4

这样操作后，node1可以免密登录其他三个，如果想让其他也免密，重复上述操作即可
四、Hadoop的安装及配置
1、安装
上传hadoop2.7.1到node1的/usr/local下解压，并将hadoop位置加入环境变量

HADOOP_HOME=/usr/local/hadoop271
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export PATH JAVA_HOME CLASSPATH HADOOP_HOME

source /etc/profile

输入hdfs,出现如下即可
在这里插入图片描述2、配置相关文件
（1）修改hadoop2.7.1/etc/hadoop/hadoop-env.sh中的 JAVA_HOME

修改   export JAVA_HOME=/usr/local/jdk8/

（2）添加hadoop2.7.1/etc/hadoop/core-site.xml中的配置

<property> 
	<name>fs.defaultFS</name> 
	<value>hdfs://node1:9000/</value> 
 </property> 
<property> 
	<name>hadoop.tmp.dir</name>
	 <value>/opt/hadoopdata</value> 
 </property> 
 #注意这个  hadoopdata目录不存在，由hadoop生成

（3）添加hadoop2.7.1/etc/hadoop/hdfs-site.xml中的配置

 <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
 <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>node2:50090</value>
   </property>

(4)在hadoop2.7.1/etc/hadoop/slaves 中 指定 三台 DN
在这里插入图片描述
(5)手动创建masters文件, 指定 SNN

vim masters

在这里插入图片描述

五、同步配置文件到其它节点

scp -r hadoop2.7.1/    node2:/usr/local/
scp -r hadoop2.7.1/    node3:/usr/local/
scp -r hadoop2.7.1/    node4:/usr/local/

六、启动

在node1的hadoop2.1.7/etc/hadoop路径下输入以下命令

#格式化 NN          
hdfs namenode     -format
#启动   
start-dfs.sh

如果启动不成功，看看自己的配置文件路径是不是有问题。配置成功则通过jps命令查看四个虚拟机
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
跟我们期望得配置目标一样

七、测试

1、namenode查看

http://node1:50070

在这里插入图片描述

2、SNN查看

http://node2:50090

在这里插入图片描述
如果访问不到，请关闭node1和node2的防火墙

#查看防火墙状态
systemctl status firewalld.service
#关闭防火墙
systemctl stop firewalld.service    
#禁止防火墙开机启动
systemctl disable firewalld

标签：步骤,虚拟机,hadoop,etc,node1,HOME,hadoop2.7,分布式
来源： https://blog.csdn.net/qq_46344415/article/details/117295951