解决spark单点故障问题——Spark HA部署

Spark HA的部署过程以及测试结果

• • 1. 查看zookeeper 的zoo.cfg文件
  • 2. 配置spark-env.sh 文件（三个节点)
  • 3. 单点故障操作

简单易懂，手把手带小白用VMware虚拟机安装Linux centos7系统

Hadoop集群搭建及配置〇 —— Hadoop组件获取 & 传输文件

Hadoop集群搭建及配置① —— 克隆节点

Hadoop集群搭建及配置② —— 网络IP配置，连接网络

Hadoop集群搭建及配置③ —— 基础环境搭建

Hadoop集群搭建及配置④ —— JDK简介及其安装

Hadoop集群搭建及配置⑤ —— Zookeeper 讲解及安装

Hadoop集群搭建及配置⑥ —— Hadoop组件安装及配置

Hadoop集群搭建及配置⑦—— Spark&Scala安装配置

Hadoop集群搭建及配置⑧——Hbase的安装配置

1. 查看zookeeper 的zoo.cfg文件

2. 配置spark-env.sh 文件（三个节点)

vi spark-env.sh
注释掉masterIP，添加：

export SPARK_MASTER_PORT=7077
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER
-Dspark.deploy.zookeeper.url=master:2181,slave1:2181,slave2:2181
-Dspark.deploy.zookeeper.dir=/usr/spark/spark-2.4.0-bin-hadoop2.7"

保存退出后，在salve1的spark目录：
cd /usr/spark/spark-2.4.0-bin-hadoop2.7/下，
启动：sbin/start-master.sh

可以看到slave1已经启动spark–Master，网页查看状态

3. 单点故障操作

可以看到slave1:8080状态 Status:STANDBY。

在master节点停止掉spark，可以看到，slave1:8080的状态变为ALIVE，表示解决了单点故障问题。

标签：zookeeper,配置,Hadoop,集群,spark,HA,单点故障,搭建
来源： https://blog.csdn.net/weixin_44775255/article/details/114796573