基于CentOS-6.9+VM12的Hadoop集群搭建（2）

由于篇幅较多，采取分篇，下面开始Hadoop集群的正式搭建。

修改Hadoop配置文件，SSH免密通信，克隆虚拟机，禁用防火墙

集群规划：

1.修改Hadoop配置文件

首先，进入Hadoop目录，在该目录下创建data目录，用于存放Hadoop运行时产生的文件、元数据等·

接着，进入存放Hadoop配置文件目录/opt/software/hadoop/etc/hadoop修改配置：

我们把NN, SN, RM部署到bigdata01上，因此上图中把主机名1均改为bigdata01。

之后，在hadoop-env.sh、yarn-env.sh、mapred-env.sh中分别添加export JAVA_HOME=/opt/software/jdk以指定jdk的路径，并在slaves文件添加bigdata01、bigdata02、bigdata03以指定数据节点DN的位置，如图：

2.禁用防火墙

输入chkconfig iptables off关闭防火墙，再用vi /etc/sysconfig/selinux将行SELINUX改为SELINUX=disabled以关闭高级防火墙。

3.克隆虚拟机

1)克隆bigdata01得到bigdata02、bigdata03。
2)在bigdata02、bigdata03中分别键入vi /etc/sysconfig/network-scripts/ifcfg-eth0 编辑，将IPADDR分别改为对应ip，然后vi /etc/udev/rules.d/70-persistent-net.rules查看其中NAME=eth1的ATTR{address},将DEVICE=eth0改为DEVICE=eth1，将行HWADDR的值改为ATTR{address}的值，然后保存退出，再service network restart重启网卡。

4.ssh免密通信

1)分别在bigdata01、bigdata02、bigdata03分别输入ssh-keygen -t rsa以生产公钥、私钥，默认保存在/root/.ssh目录中。
2)接着，在bigdata01、bigdata02、bigdata03中分别输入ssh-copy-id bigdata01、ssh-copy-id bigdata02、 ssh-copy-id bigdata03将公钥拷贝到其他主机中，至此免密通信完成。

启动Hadoop集群，Web查看集群状态

1)在bigdata01中输入hadoop namenode -format进行格式化。
2)在bigdata01上输入start-all.sh启动集群，jps可查看已经启动的进程。
3)在浏览器输入bigdata01的ip加端口50070(HDFS默认端口，低版本是8020)，比如我的bigdata01的IP是192.168.232.101，则输入192.168.232.101:50070即可(注：访问不了，查看防火墙是否关闭)。
4)在bigdata01上输入stop-all.sh关闭集群，关机前务必先关闭集群，以防集群崩塌出现错误。

至此，Hadoop完全分布式集群搭建成功，谢谢支持！

标签：VM12,CentOS,Hadoop,bigdata03,bigdata02,bigdata01,集群,ssh
来源： https://blog.csdn.net/qq_44093764/article/details/106882243