Hadoop3.0完全分布式集群搭建方法（CentOS7+Hadoop3.2.0）
作者：互联网
本文详细介绍搭建4个节点的完全分布式Hadoop集群的方法，Linux系统版本是CentOS 7，Hadoop版本是3.2.0，JDK版本是1.8。
一、准备环境
1. 在VMware workstations上创建4个Linux虚拟机，并配置其静态IP。
有关【创建Linux虚拟机及配置网络】，请参考这里。
2. 配置DNS（每个节点）
编辑配置文件，添加主节点和从节点的映射关系。
#vim /etc/hosts 192.168.44.3 hadoop01 192.168.44.4 hadoop02 192.168.44.5 hadoop03 192.168.44.6 hadoop04
3. 关闭防火墙（每个节点）
#关闭服务 [root@hadoop01 opt]# systemctl stop firewalld #关闭开机自启动 [root@hadoop01 opt]# systemctl disable firewalld Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service. Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
4. 配置免密码登录
有关【配置免密码登录方法】，请参考这里。
5. 配置Java环境（每个节点）
有关【配置java环境方法】，请参考这里。
二、搭建Hadoop完全分布式集群
在各个节点上安装与配置Hadoop的过程都基本相同，因此可以在每个节点上安装好Hadoop后，在主节点master上进行统一配置，然后通过scp 命令将修改的配置文件拷贝到各个从节点上即可。
1. 下载Hadoop安装包，解压，配置Hadoop环境变量
有关【Hadoop安装包下载方法】，请参考这里。
本文下载的Hadoop版本是3.2.0，指定一个目录（比如：/opt），使用rz命令上传Hadoop安装包到Linux系统，解压到指定目录，配置Hadoop环境变量，并使其生效。实现命令如下：
#解压到/opt目录
[root@hadoop01 opt]# tar -zxvf hadoop-3.2.0.tar.gz
#配置Hadoop环境变量 [root@hadoop01 opt]# vim /etc/profile #Hadoop export HADOOP_HOME=/opt/hadoop-3.2.0 # 该目录为解压安装目录 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop #保存后，使profile生效 [root@hadoop01 opt]# source /etc/profile
2. 配置Hadoop环境脚本文件中的JAVA_HOME参数
#进入Hadoop安装目录下的etc/hadoop目录 [root@hadoop01 ~]#cd /opt/hadoop-3.2.0/etc/hadoop #分别在hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中添加或修改如下参数：
[root@hadoop01 hadoop]# vim hadoop-env.sh
[root@hadoop01 hadoop]# vim mapred-env.sh
[root@hadoop01 hadoop]# vim yarn-env.sh
export JAVA_HOME="/opt/jdk" # 路径为jdk安装路径
#验证Hadoop配置是否生效
[root@hadoop01 hadoop]# hadoop version
Hadoop 3.2.0
Source code repository https://github.com/apache/hadoop.git -r e97acb3bd8f3befd27418996fa5d4b50bf2e17bf
Compiled by sunilg on 2019-01-08T06:08Z
Compiled with protoc 2.5.0
From source with checksum d3f0795ed0d9dc378e2c785d3668f39
This command was run using /opt/hadoop-3.2.0/share/hadoop/common/hadoop-common-3.2.0.jar
3. 修改Hadoop配置文件
Hadoop安装目录下的etc/hadoop目录中，需修改core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、workers件，根据实际情况修改配置信息。
（1）core-site.xml （文件系统）
1 <configuration> 2 <property> 3 <!-- 配置hdfs地址 --> 4 <name>fs.defaultFS</name> 5 <value>hdfs://hadoop01:9000</value> 6 </property> 7 <property> 8 <!-- 保存临时文件目录，需先在/opt/hadoop下创建tmp目录 --> 9 <name>hadoop.tmp.dir</name> 10 <value>/opt/hadoop/tmp</value> 11 </property> 12 </configuration>
（2）hdfs-site.xml （副本数）
1 <configuration> 2 <property> 3 <!-- 主节点地址 --> 4 <name>dfs.namenode.http-address</name> 5 <value>hadoop01:50070</value> 6 </property> 7 <property> 8 <name>dfs.namenode.name.dir</name> 9 <value>file:/opt/hadoop/dfs/name</value> 10 </property> 11 <property> 12 <name>dfs.datanode.data.dir</name> 13 <value>file:/opt/hadoop/dfs/data</value> 14 </property> 15 <property> 16 <!-- 备份数为默认值3 --> 17 <name>dfs.replication</name> 18 <value>3</value> 19 </property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
<description>配置为false后，可以允许不要检查权限就生成dfs上的文件，方便倒是方便了，但是你需要防止误删除.</description>
</property>
20 </configuration>
（3）mapred-site.xml （资源调度框架）
1 <configuration> 2 <property> 3 <name>mapreduce.framework.name</name> 4 <value>yarn</value> #设置MapReduce的运行平台为yarn 5 </property> 6 <property> 7 <name>mapreduce.jobhistory.address</name> 8 <value>hadoop01:10020</value> 9 </property> 10 <property> 11 <name>mapreduce.jobhistory.webapp.address</name> 12 <value>hadoop01:19888</value> 13 </property> 14 </configuration>
<configuration>
<property>
<name>mapreduce.application.classpath</name>
<value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
</property>
</configuration>
（4）yarn-site.xml
1 <configuration> 2 <property> 3 <name>yarn.resourcemanager.hostname</name> #指定yarn的ResourceManager管理界面的地址，不配的话，Active Node始终为0 4 <value>hadoop01</value> 5 </property> 6 <property> 7 <name>yarn.nodemanager.aux-services</name> #reducer获取数据的方式 8 <value>mapreduce_shuffle</value> 9 </property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>hadoop1:8088</value>
<description>配置外网只需要替换外网ip为真实ip，否则默认为 localhost:8088</description>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>2048</value>
<description>每个节点可用内存,单位MB,默认8182MB</description>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
<discription>忽略虚拟内存的检查，如果你是安装在虚拟机上，这个配置很有用，配上去之后后续操作不容易出问题。</discription>
</property>
10 </configuration>
（5）workers文件
#增加从节点地址（若配置了hosts，可直接使用主机名，亦可用IP地址） [root@hadoop01 hadoop]# vim workers hadoop02 hadoop03 hadoop04
4. 将配置好的文件夹拷贝到其他从节点
[root@hadoop01 hadoop-3.2.0]# scp -r /opt/hadoop-3.2.0 root@hadoop02:/opt/
[root@hadoop01 hadoop-3.2.0]# scp -r /opt/hadoop-3.2.0 root@hadoop03:/opt/
[root@hadoop01 hadoop-3.2.0]# scp -r /opt/hadoop-3.2.0 root@hadoop04:/opt/
5. 配置启动脚本，添加HDFS和Yarn权限
添加HDFS权限：编辑如下脚本，在第二行空白位置添加HDFS权限 [root@hadoop01 sbin]# vim sbin/start-dfs.sh [root@hadoop01 sbin]# vim sbin/stop-dfs.sh HDFS_DATANODE_USER=root HDFS_DATANODE_SECURE_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root
添加Yarn权限：编辑如下脚本，在第二行空白位置添加Yarn权限 [root@hadoop01 sbin]# vim sbin/start-yarn.sh [root@hadoop01 sbin]# vim sbin/stop-yarn.sh YARN_RESOURCEMANAGER_USER=root HDFS_DATANODE_SECURE_USER=yarn YARN_NODEMANAGER_USER=root
注意：若不添加上述权限，则会报错：缺少用户权限定义所致。
ERROR: Attempting to launch hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting launch. Starting datanodes ERROR: Attempting to launch hdfs datanode as root ERROR: but there is no HDFS_DATANODE_USER defined. Aborting launch. Starting secondary namenodes [localhost.localdomain] ERROR: Attempting to launch hdfs secondarynamenode as root ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting launch.
6. 初始化 & 启动
#格式化 [root@hadoop01 hadoop-3.2.0]# bin/hdfs namenode -format #启动（两种方式均可启动）
方法一：
[root@hadoop01 hadoop-3.2.0]# start-all.sh
方法二： [root@hadoop01 hadoop-3.2.0]# sbin/start-dfs.sh [root@hadoop01 hadoop-3.2.0]# sbin/start-yarn.sh
7. 验证Hadoop启动成功
#主节点
[root@hadoop01 sbin]# jps
11329 NameNode
11831 ResourceManager
11592 SecondaryNameNode
12186 Jps
#从节点 [root@hadoop02 hadoop]# jps 5152 SecondaryNameNode 5085 DataNode 5245 NodeManager 5357 Jps [root@hadoop03 opt]# jps 5080 DataNode 5178 NodeManager 5278 Jps [root@hadoop04 opt]# jps 5090 NodeManager 5190 Jps 4991 DataNode
8. Web端口访问
注：先开放端口或直接关闭防火墙
# 查看防火墙状态 firewall-cmd --state # 临时关闭 systemctl stop firewalld # 禁止开机启动 systemctl disable firewalld
在浏览器输入：http://hadoop01:8088打开ResourceManager页面。
在浏览器输入：http://hadoop01:50070打开Hadoop Namenode页面。
标签：opt,hadoop01,hadoop,Hadoop,CentOS7,Hadoop3.0,Hadoop3.2,3.2,root 来源： https://www.cnblogs.com/shireenlee4testing/p/10472018.html