系统相关
首页 > 系统相关> > 【大数据】Linux 环境下创建 Hadoop 集群并完成设置

【大数据】Linux 环境下创建 Hadoop 集群并完成设置

作者:互联网

条件

采用64位Oracle Linux 6.4, JDK:1.8.0_131 64位, Hadoop:2.7.3。
Spark集群实验环境共包含3台服务器,每台机器的主要参数如 表所示:

服务器 HOSTNAME IP 功能
spark1 spark1 92.16.17.1 NN/DN/RM Master/Worker
spark2 spark2 92.16.17.2 DN/NM/Worker
spark3 spark3 92.16.17.3 DN/NM/Worker

过程

  1. 设置服务器的HOSTNAME
    在三台服务器上分别设置服务器主机名称,spark1 服务器设置如图所示, spark2和spark3请自从完成。
    图 1
    注意:该项设置完成后,需重启服务器方能生效
  2. 配置网卡参数
    根据IP分配表的内容分别修改各主机的网卡配置文件,其中spark1如图所示:
    图 2
  3. 设置host映射文件
    分别修改和主机的host文件如图所示:
    图 3
  4. 关闭防火墙
    分别在三台主机上永久关闭防火墙,spark1操作如图所示:
    在这里插入图片描述
  5. 关闭SELINUX
    分别在三台主机上修改SELINUX参数为disabled, spark1操作如 图所示:
    图 5
    注意:SELINUX参数修改后需要重启操作系统后才能生效
  6. 修改SSH配置文件
    编辑 sshd_config 配置文件,将三个参数 RSAAuthentication,
    PubkeyAuthentication, AuthorizedKeysFile的注释撤销掉,之后停止并再次启动SSHD守护进程,如图所示:
    在这里插入图片描述
    在这里插入图片描述
    以上操作在spark1, spark2, spark3主机上均要执行
  7. 创建集群所需用户组及用户
    创建hadoop用户组、hadoop用户,并设置hadoop用户的口令为hadoop, 如图所示:
    在这里插入图片描述
    接着给hadoop用户添加sudo权限,先给root用户授予对sudoers文件的写权限,在编辑sudoers文件,添加如图所示的行:
    图 8
    在这里插入图片描述
    上述操作要在spark1, spark2, spark3三台主机分别执行
  8. 创建集群安装目录
    分别在spark1, spark2, spark3三台主机上创建集群安装目录,并修改该目录所有者为hadoop, 其中spark1节点上的操作如图所示:
    在这里插入图片描述

标签:如图所示,spark3,spark2,spark1,Hadoop,hadoop,主机,集群,Linux
来源: https://blog.csdn.net/qq_44759710/article/details/106895815