hadoop集群搭建
作者：互联网
一、集群目录文件分发
1. scp（secure copy）安全拷贝
1）scp定义：
scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）
（2）基本语法
scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname
命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称
（a）在hadoop102上，将hadoop102中/opt/module目录下的软件拷贝到hadoop103上
scp -r /opt/module atguigu@hadoop103:/opt/module
（b）在hadoop104上，将hadoop102服务器上的/opt/module目录下的软件拷贝到hadoop104上。
scp -r atguigu@hadoop102:/opt/module /opt/module
（c）在hadoop103上操作将hadoop102中/opt/software目录下的软件拷贝到hadoop104上。
scp -r atguigu@hadoop102:/opt/software atguigu@hadoop104:/opt/software
2. rsync 远程同步工具 （只能分发自己机器上的）
rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。
rsync -av $pdir/$fname $user@hadoop$host:$pdir/$fname
命令 选项参数 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称
-a 归档拷贝 -v 显示复制过程
a）把hadoop102机器上的/opt/software目录同步到hadoop103服务器的/opt/software目录下
rsync -av /opt/software/ atguigu@hadoop103:/atguigu /software
3.xsync集群分发脚本
1.循环复制文件到所有节点的相同目录下:
2.基于rsync技术将文件从一个节点同步到其他所有节点 xsync 要同步的文件名称
3.脚本实现(一般会把脚本放到用户的家目录下的bin目录下，因为这个路径下会直接放到环境变量中）
在/home/atguigu目录下创建bin目录，并在bin目录下创建xsync文件
说明：在/home/atguigu/bin这个目录下存放的脚本，atguigu用户可以在系统任何
地方直接执行。因为/home/atguigu/bin在系统的PATH环境变量中。
#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
echo Not Enough Arguement!
exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
echo ==================== $host ====================
#3. 遍历所有目录，挨个发送
for file in $@
do
#4 判断文件是否存在
if [ -e $file ]
then
#5. 获取父目录
pdir=$(cd -P $(dirname $file); pwd)
#6. 获取当前文件的名称
fname=$(basename $file)
ssh $host "mkdir -p $pdir"
rsync -av $pdir/$fname $host:$pdir
else
echo $file does not exists!
fi
done
done
（b）修改脚本 xsync 具有执行权限
chmod +x xsync
c）测试脚本
xsync /home/atguigu/xsync
二、hadoop集群配置
1.配置集群信息（修改hadoop的自定义配置文件）
1.配置：hadoop-env.sh （路径：$HADOOP_HOME/etc/hadoop ） 可以不修改 hadoop 3.x 之后不影响
export JAVA_HOME=/opt/module/jdk1.8.0_212 （不知道jdk的路径的话 echo $JAVA_HOME）
2.配置core-site.xml (核心配置文件)（路径：$HADOOP_HOME/etc/hadoop ）
cd $HADOOP_HOME/etc/hadoop
vim core-site.xml
文件内容如下：
<!-- 指定NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop102:8020</value>
</property>
<!-- 指定hadoop数据的存储目录
官方配置文件中的配置项是hadoop.tmp.dir ,用来指定hadoop数据的存储目录,此次配置用的hadoop.data.dir是自己定义的变量， 因为在hdfs-site.xml中会使用此配置的值来具体指定namenode 和 datanode存储数据的目录
-->
<property>
<name>hadoop.data.dir</name>
<value>/opt/module/hadoop-3.1.3/data</value>
</property>
<!-- 下面是兼容性配置，先跳过 -->
<!-- 配置该atguigu(superUser)允许通过代理访问的主机节点 -->
<property>
<name>hadoop.proxyuser.atguigu.hosts</name>
<value>*</value>
</property>
<!-- 配置该atguigu(superuser)允许代理的用户所属组 -->
<property>
<name>hadoop.proxyuser.atguigu.groups</name>
<value>*</value>
</property>
<!-- 配置该atguigu(superuser)允许代理的用户-->
<property>
<name>hadoop.proxyuser.atguigu.users</name>
<value>*</value>
</property>
3.配置hdfs-site.xml HDFS配置文件
cd $HADOOP_HOME/etc/hadoop
vim hdfs-site.xml
文件内容如下：
<!-- 指定副本数 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- 指定NameNode数据的存储目录 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>file://${hadoop.data.dir}/name</value>
</property>
<!-- 指定Datanode数据的存储目录 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>file://${hadoop.data.dir}/data</value>
</property>
<!-- 指定SecondaryNameNode数据的存储目录 -->
<property>
<name>dfs.namenode.checkpoint.dir</name>
<value>file://${hadoop.data.dir}/namesecondary</value>
</property>
<!-- 兼容配置，先跳过 -->
<property>
<name>dfs.client.datanode-restart.timeout</name>
<value>30s</value>
</property>
<!-- nn web端访问地址-->
<property>
<name>dfs.namenode.http-address</name>
<value>hadoop102:9870</value>
</property>
<!-- 2nn web端访问地址-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop104:9868</value>
</property>
4.配置yarn-site.xml YARN配置文件
cd $HADOOP_HOME/etc/hadoop
vim yarn-site.xml
文件内容如下：
<!--NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定ResourceManager的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop103</value>
</property>
<!-- 环境变量的继承 -->
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
<!-- 取消虚拟内存的限制 -->
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
5.配置mapred-site.xml MapReduce配置文件
cd $HADOOP_HOME/etc/hadoop
vim mapred-site.xml
文件内容如下：
<!-- 指定MapReduce程序运行在Yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
2.在集群上分发配置好的hadoop
xsync /opt/module/hadoop-3.1.3
3.集群单点启动
1）如果集群是第一次启动，需要格式化NameNode
hdfs namenode -format
2）在hadoop102上启动NameNode
hdfs --daemon start namenode
3）完成后执行jps命令，看到如下结果（进程号可能不同）
2867 NameNode
4）在hadoop102、hadoop103以及hadoop104上执行如下命令（三台都要执行 xshell 工具的群发功能）启动datanode
hdfs --daemon start datanode
5） 在hadoop104上启动secondarynamenode
hdfs --daemon start secondarynamenode
6）在hadoop103上启动ResourceManager
yarn --daemon start resourcemanager
7）在hadoop102、hadoop103以及hadoop104上执行如下命令（三台都要执行）启动nodemanager
yarn --daemon start nodemanager
4.集群单点关闭
YRAN 和 HDFS无先后顺序
1）在hadoop102、hadoop103以及hadoop104上关闭DataNode(Xshell群发功能)
hdfs --daemon stop datanode
2）在hadoop102上关闭NameNode
hdfs --daemon stop namenode
3） 在hadoop104上关闭SecondaryNameNode
hdfs --daemon stop secondarynamenode
4)在hadoop102、hadoop103以及hadoop104上关闭NodeManager(Xshell群发功能)
yarn --daemon stop nodemanager
5)在hadoop103上关闭ResourceManager
yarn --daemon stop resourcemanager
5.配置免密
（1）分别在hadoop102 hadoop103 hadoop104三台机器上生成公钥和私钥：
ssh-keygen -t rsa
然后敲（三个回车），就会在 ~/.ssh目录下生成两个文件
id_rsa（私钥）、id_rsa.pub（公钥）
（2）分别在hadoop102 hadoop103 hadoop104执行,将公钥拷贝到要免密登录的目标机器上 自身机器也要配置
ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104标签：opt,hadoop,集群,atguigu,hadoop103,hadoop102,hadoop104,搭建 来源： https://www.cnblogs.com/xiao-bu/p/14218437.html