前言

Hadoop集群=HDFS集群+YARN集群
特点：两个集群逻辑上分离，通常物理上在一起；并且都是标准的主从架构集群

Hadoop安装

方式一源码编译安装
方式二官方编译安装包 (✔)

环境

Centos +虚拟机

集群规划

服务器	运行角色
node1.itcast.cn	namenode datanode resourcemanager nodemanager
node2.itcast.cn	secondarynamenode datanode nodemanager
node3.itcast.cn	datanode nodemanager

服务器环境准备

1、主机名-allservers

/* 建立服务器的主机名*/
vim /etc/hostname
添加主机名
/*验证：*/
	hostname或cat /etc/hostname、 

2、Hosts映射-allservers

/*建立服务器主机名和IP地址映射*/
vim /etc/hosts
添加IP地址 主机名1 主机名2..
/*验证：*/
	cat /etc/hosts

3、集群时间同步-allservers

/*安装ntpdate命令*/
yum -y install ntpdate (若有可跳过)
/*同步时间*/
ntpdate ntp4.aliyun.com

4、关闭防火墙-allservers

systemctl stop firewalld.service  #停止firewalld服务
systemctl disable firewalld.service  #开机禁用firewalld服务

5、SSH免密登录-node1

#只需要配置node1至node1、node2、node3即可
#node1生成公钥私钥--一直确认
ssh-keygen 
#node1配置免密登录到node1 node2 node3
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3
#验证,进行登录
ssh node1 
ssh node2
ssh node3

4、创建存放路径

mkdir -p /export/server/ #软件安装路径
mkdir -p /export/data/   #数据存储路径
mkdir -p /export/sofrware/ #安装包存放路径

5、安装JDK-allservers

JDK安装包上传至/export/server/
#解压
tar -zxvf jdk-8u241-linux-x64.tar.gz
#解压文件：jdk1.8.0_241
#解压后的文件分发同步到node2、node3,路径保持一致
scp -r /export/server/jdk1.8.0_241 root@node2:/export/server/
scp -r /export/server/jdk1.8.0_241 root@node3:/export/server/
-------------------------------------------------------------
#配置环境变量
vim /etc/profile
#追加
export JAVA_HOME=/export/server/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
#同步分发到node2,node3
scp /etc/profile root@node2:/etc/profile
scp /etc/profile root@node3:/etc/profile
#重新加载环境变量文件
source /etc/profile
#验证
java -version

6、安装Hadoop-allservers

#上传Hadoop安装包到node1 /export/server
hadoop-3.3.0-Centos7-64-with-snappy.tar.gz
#解压
tar zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz
------------------------------------------------------
#修改配置文件:/hadoop-3.3.0/etc/hadoop
hadoop-env.sh
core-site.xml #核心模块配置
hdfs-site.xml #hdfs文件系统模块配置
mapred-site.xml #MapReduce模块配置
yarn-site.xml #yarn模块配置
workers
#分发同步hadoop安装包
cd /export/server
scp -r hadoop-3.3.0 root@node2:$PWD
scp -r hadoop-3.3.0 root@node3:$PWD
------------------------------------------------------
#配置环境变量
vim /etc/profile
#追加
export HADOOP_HOME=/export/server/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#重载配置文件
source /etc/profile
#分发同步
...
#验证
hadoop

标签：hadoop,笔记,Hadoop,etc,export,node1,集群,node3,server
来源： https://www.cnblogs.com/alexanders/p/16286955.html