hadoop学习笔记（九）：mr2HA高可用环境搭建及处步使用

本文原创，如需转载，请注明原文链接和作者

现结点的配置情况

 

 

1、单节点的yarn管理的配置

需要配置mapread-site.xml

Configure parameters as follows:
etc/hadoop/mapred-site.xml:

#mapread-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
etc/hadoop/yarn-site.xml:
#和yarn-site.xml
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

2、配置HA高可用中的yarn管理

需要配置的是yarn-site.xml文件

Here is the sample of minimal setup for RM failover.

<property>
   <name>yarn.resourcemanager.ha.enabled</name>
   <value>true</value>
 </property>
 <property>
   <name>yarn.resourcemanager.cluster-id</name>
   <value>cluster1</value>
 </property>
 <property>
   <name>yarn.resourcemanager.ha.rm-ids</name>
   <value>rm1,rm2</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm1</name>
   <value>node03</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm2</name>
   <value>node04</value>
 </property>
 <property>
   <name>yarn.resourcemanager.zk-address</name>
   <value>node02:2181,node03:2181,node04:2181</value>
 </property>

3、具体的自己在搭建的过程中将那几个结点当做resourcemanager所在的结点，则需要将这两个结点互相的分发秘钥，实现互相的免秘钥登录

node03

[root@node03 ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

自己实现对自己的免秘钥登录

[root@node03 ~]# cd .ssh/
[root@node03 .ssh]# ll
总用量 20
-rw-r--r-- 1 root root 616 9月  23 11:35 authorized_keys
-rw------- 1 root root 672 10月  4 15:57 id_dsa
-rw-r--r-- 1 root root 601 10月  4 15:57 id_dsa.pub
-rw-r--r-- 1 root root 171 9月  23 11:26 known_hosts
-rw-r--r-- 1 root root 616 9月  23 11:34 node01.pub
[root@node03 .ssh]# cat id_dsa.pub >> authorized_keys 

在node03将秘钥发给node04结点并改名

[root@node03 .ssh]# scp id_dsa.pub node04:`pwd`/node03.pub

之后在node中执行追加命令

[root@node04 .ssh]# cat node03.pub >> authorized_keys 

 

node04进行同样的和node03一样的命令且将自己的秘钥文件发给Node03并在03上将node04的秘钥文件追加到自己的验证文件中

 

4、启动集群步骤

　　　先启动zk集群;command:   zkServer.sh start

　　　　因为mr是在hdfs的基础是哪个的，所以在主结点上先启动hdfs 命令：start-dfs.sh

hdfs集群启动：

 

 

在主结点上启动Node Manager,这个进程会分别的在DataNode的结点上启动

[root@node01 hadoop]# start-yarn.sh

 

 注意到这里并没有启动,需要到两个配置resourcemanager的结点去分别的去启动它

[root@node03 .ssh]# yarn-daemon.sh start resourcemanager
starting resourcemanager, logging to /opt/sxt/hadoop-2.6.5/logs/yarn-root-resourcemanager-node03.out

[root@node04 .ssh]# yarn-daemon.sh start resourcemanager
starting resourcemanager, logging to /opt/sxt/hadoop-2.6.5/logs/yarn-root-resourcemanager-node04.out

 

之后可以通过ss -nal命令查看端口 8088是yarn和浏览器的默认通信端口,

而3888是zk集群选举机制所用的端口,2888是zk集群内部通信所用的端口,2181是服务器和客户单通信的端口

 

 

浏览器访问yarn

 

标签：node03,node04,resourcemanager,mr2HA,处步,hadoop,yarn,ssh,root
来源： https://www.cnblogs.com/isme-zjh/p/11622483.html