首页 > 其他分享> > Hadoop集群搭建（保姆式教学）

Hadoop集群搭建（保姆式教学）

2021-06-14 20:01:13 作者：互联网

环境准备

三台服务器：node00、node01、node02 以及 Java环境

链接：https://pan.baidu.com/s/1-V_9d2cWBQzy092lyhwQtQ
提取码：0000 （hadoop3.1.3以及jdk1.8的tar包）

安装JDK

1、通过xftp将jdk的tar包传入到Linux中

2、解压

 tar -zxvf jdk-8u212-linux-x64.tar.gz -C /usr/local/

3、配置JDK环境变量（/etc/profile文件下）

#jdk安装目录
export JAVA_HOME=/usr/local/jdk1.8.0_144
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}

4、刷新一下环境变量

source /etc/profile

5、测试是否安装成功

java -vesion

在这里插入图片描述

出现这个则代表成功

安装Hadoop

1、通过xftp将Hadoop的tar包传入到Linux当中

2、解压

tar -zxvf hadoop-3.1.3.tar.gz -C /usr/local/

3、配置Hadoop的环境变量（/etc/profile文件下）

#HADOOP_HOME
export HADOOP_HOME=/usr/local/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbi

4、刷新配置文件

source /etc/profile

5、测试是否安装成功

hadoop version

在这里插入图片描述

出现这个即是安装成功

Hadoop集群搭建

集群规划部署

Name 和 SecondaryNameNode不要安装在同一台服务器上
ResourceManager也会占用大量内存，不要和NameNode 和 SecondaryNameNode 安装在同一台服务器上

	ndoe00	node01	node02
HDFS	NameNode、 DATANode	DataNode	SecondaryNameNode、DataNode
YARN	NodeManager	ResourceManager、NodeManager	NodeManager

安装前提

1、关闭3台机器的防火墙，IP、主机名称，并且安装JDK以及Hadoop

2、集群分发脚本及ssh无钥 https://blog.csdn.net/weixin_51090485/article/details/117515159

配置集群

1、core.site.xml（/usr/local/hadoop-3.1.3/etc/hadoop路径下）

<configuration>
 <!-- 指定 NameNode 的地址 -->
 <property>
  <name>fs.defaultFS</name>
  <value>hdfs://node00:8020</value>
 </property>
 <!-- 指定 hadoop 数据的存储目录 -->
 <property>
  <name>hadoop.tmp.dir</name>
  <value>/usr/local/hadoop-3.1.3/data</value>
 </property>
 <!-- 配置 HDFS 网页登录使用的静态用户为 root -->
 <property>
  <name>hadoop.http.staticuser.user</name>
  <value>root</value>
 </property>
</configuration>

2、hdfs-site.xml

<configuration>
<!-- nn web 端访问地址-->
 <property>
  <name>dfs.namenode.http-address</name>
  <value>node00:9870</value>
 </property>
<!-- 2nn web 端访问地址-->
 <property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>node02:9868</value>
 </property>
</configuration>

3、yarn-site.xml

<configuration>
<!-- 指定 MR 走 shuffle -->
 <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
 </property>
 <!-- 指定 ResourceManager 的地址-->
 <property>
  <name>yarn.resourcemanager.hostname</name>
  <value>node01</value>
 </property>
 <!-- 环境变量的继承 -->
 <property>
  <name>yarn.nodemanager.env-whitelist</name>
 <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO
NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP
RED_HOME</value>
 </property>
</configuration>

4、mapred-site.xml

<configuration>
<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
 <property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
  </property>
 <property>
</configuration>

5、分发文件

xsync /usr/local/hadoop-3.1.3/etc/hadoop/

6、配置workers并且分发

vim /usr/local/hadoop-3.1.3/etc/hadoop/workers

在这里插入图片描述
不允许有空格

7、启动集群

如果是第一次启动集群，现在node00节点格式化NameNodes

hdfs namenode -format

启动HDFS

[root@node00 hadoop-3.1.3]# sbin/start-dfs.sh

启动YARN

[root@node01 hadoop-3.1.3]# sbin/start-yarn.sh

查看HDFS的NameNode

http://node00:9870
查看YARN的ResourceManager

http://node01:8088

8、测试集群

上传文件

[root@node00 hadoop-3.1.3]# hadoop fs -mkdir /input

在这里插入图片描述

[root@node00 hadoop-3.1.3]# hadoop fs -put a.txt /input

在这里插入图片描述

下载文件

[root@node00 hadoop-3.1.3]# hadoop fs -get /input/a.txt ./

执行wordcount程序

[root@node00 hadoop-3.1.3]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

在这里插入图片描述

8、配合历史服务器（ mapred-site.xml）

为了查看程序运行的情况，需要配置历史服务器，配完之后分发配置

<!-- 历史服务器端地址 -->
<property>
 <name>mapreduce.jobhistory.address</name>
 <value>node00:10020</value>
</property>
<!-- 历史服务器 web 端地址 -->
<property>
 <name>mapreduce.jobhistory.webapp.address</name>
 <value>node00:19888</value>
</property>

启动历史服务器

mapred --daemon start historyserver

9、配置日志聚集（yarn-site.xml）

应用运行完成以后，将程序运行日志信息上传到HDFS上，方便查看程序运行详情，方便开发测试

<!-- 开启日志聚集功能 -->
<property>
 <name>yarn.log-aggregation-enable</name>
 <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property> 
 <name>yarn.log.server.url</name> 
 <value>http://node00:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为 7 天 -->
<property>
 <name>yarn.log-aggregation.retain-seconds</name>
 <value>604800</value>
</property>

分发配置

[root@node00 hadoop-3.1.3]# xsync /usr/local/hadoop-3.1.3/etc/hadoop/yarn-site.xml

重启集群

集群脚本

集群停启脚本

1、创建文件

[root@node00 hadoop-3.1.3]# cd /usr/local/bin/
[root@node00 bin]# vim myhadoop.sh

2、输入

#!/bin/bash
if [ $# -lt 1 ]
then
 echo "No Args Input..."
 exit ;
fi
case $1 in
"start")
 echo " =================== 启动 hadoop 集群 ==================="
 echo " --------------- 启动 hdfs ---------------"
 ssh node00 "/usr/local/hadoop-3.1.3/sbin/start-dfs.sh"
 echo " --------------- 启动 yarn ---------------"
 ssh node01 "/usr/local/hadoop-3.1.3/sbin/start-yarn.sh"
 echo " --------------- 启动 historyserver ---------------"
 ssh node00 "/usr/local/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
 echo " =================== 关闭 hadoop 集群 ==================="
 echo " --------------- 关闭 historyserver ---------------"
 ssh node00 "/usr/local/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
 echo " --------------- 关闭 yarn ---------------"
 ssh node01 "/usr/local/hadoop-3.1.3/sbin/stop-yarn.sh"
 echo " --------------- 关闭 hdfs ---------------"
 ssh node00 "/usr/local/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
 echo "Input Args Error..."
;;
esac

3、赋予脚本权限

[root@node00 bin]# chmod 777 myhadoop.sh

查看进程脚本

1、创建目录

[root@node00 bin]# vim ajps.sh

2、输入

#!/bin/bash

#执行jps命令查询每台服务器上的节点状态

echo ======================正在查询集群节点状态====================

for i in node00 node01 node02
do
        echo ====================== 查询$i 所有服务====================
        ssh root@$i '/usr/local/jdk1.8.0_144/bin/jps'
#jdk安装路径
done
echo ======================任务执行完毕====================

3、赋予权限

[root@node00 bin]# chmod 777 ajps.sh

4、分发脚本

[root@node00 bin]# xsync /usr/local/bin/

标签：node00,hadoop,Hadoop,集群,usr,3.1,HOME,local,保姆式
来源： https://blog.csdn.net/weixin_51090485/article/details/117911800