其他分享
首页 > 其他分享> > 一脸懵逼学习Hadoop-HA机制(以及HA机制的配置文件,测试)

一脸懵逼学习Hadoop-HA机制(以及HA机制的配置文件,测试)

作者:互联网

1:能否让两个NameNode都正常影响客户端请求?

  应该让两个NameNode节点在某个时间只能有一个节点正常影响客户端请求,相应请求的必须为Active状态的那一台。

2:standBy状态的节点必须能够快速无缝的切换为active状态:

  意味着两个NameNode必须时刻保持元数据的一致;

3:HA机制,元数据共享存储,数据同步的问题:

  分布式应用:管理edits(同步数据)
  qjoural:依赖zookeeper实现

4:如何避免状态切换时候发生brain split现象:
    fencing:一是ssh发送kill指令,二是执行自定义shell脚本

5:hadoop分布式集群HA模式部署,三台机器跑集群:
  第一台机器:Zookeeper1 NameNode1 zkfc1 journalnode1

  第二台机器:Zookeeper2 NameNode2 zkfc2 journalnode2

  第三台机器:Zookeeper3 journalnode3 dataNode1

6:hadoop分布式集群HA模式部署,七台机器跑集群:
  第一台机器:namenode zkfc
  第二台机器:namenode zkfc
  第三台机器:resourcemanager
  第四台机器:resourcemanager
  第五台机器:zookeeper journalnode dataNode nodemanager
  第六台机器:zookeeper journalnode dataNode nodemanager
  第七台机器:zookeeper journalnode dataNode nodemanager



标签:机器,配置文件,journalnode,zookeeper,dataNode,NameNode,机制,HA
来源: https://blog.51cto.com/u_12469213/2844297