其他分享
首页 > 其他分享> > hadoop集群搭建

hadoop集群搭建

作者:互联网

一、集群目录文件分发

1. scp(secure copy)安全拷贝

 1)scp定义:
  scp可以实现服务器与服务器之间的数据拷贝。(from server1 to server2)
(2)基本语法
  scp    -r          $pdir/$fname              $user@hadoop$host:$pdir/$fname
  命令   递归       要拷贝的文件路径/名称    目的用户@主机:目的路径/名称
  (a)在hadoop102上,将hadoop102中/opt/module目录下的软件拷贝到hadoop103上
        scp -r /opt/module  atguigu@hadoop103:/opt/module
  (b)在hadoop104上,将hadoop102服务器上的/opt/module目录下的软件拷贝到hadoop104上。
        scp -r atguigu@hadoop102:/opt/module /opt/module
  (c)在hadoop103上操作将hadoop102中/opt/software目录下的软件拷贝到hadoop104上。
        scp -r atguigu@hadoop102:/opt/software atguigu@hadoop104:/opt/software

2. rsync 远程同步工具 (只能分发自己机器上的)

rsync和scp区别:用rsync做文件的复制要比scp的速度快,rsync只对差异文件做更新。scp是把所有文件都复制过去。
rsync    -av       $pdir/$fname              $user@hadoop$host:$pdir/$fname
  命令   选项参数   要拷贝的文件路径/名称    目的用户@主机:目的路径/名称
  -a 归档拷贝   -v 显示复制过程
  a)把hadoop102机器上的/opt/software目录同步到hadoop103服务器的/opt/software目录下
  rsync -av /opt/software/ atguigu@hadoop103:/atguigu /software

3.xsync集群分发脚本

 1.循环复制文件到所有节点的相同目录下:
 2.基于rsync技术将文件从一个节点同步到其他所有节点    xsync  要同步的文件名称 
 3.脚本实现(一般会把脚本放到用户的家目录下的bin目录下,因为这个路径下会直接放到环境变量中)
  在/home/atguigu目录下创建bin目录,并在bin目录下创建xsync文件
  说明:在/home/atguigu/bin这个目录下存放的脚本,atguigu用户可以在系统任何
  地方直接执行。因为/home/atguigu/bin在系统的PATH环境变量中。
#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
  echo Not Enough Arguement!
  exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
  echo ====================  $host  ====================
  #3. 遍历所有目录,挨个发送
  for file in $@
  do
    #4 判断文件是否存在
    if [ -e $file ]
    then
      #5. 获取父目录
      pdir=$(cd -P $(dirname $file); pwd)
      #6. 获取当前文件的名称
      fname=$(basename $file)
      ssh $host "mkdir -p $pdir"
      rsync -av $pdir/$fname $host:$pdir
    else
      echo $file does not exists!
    fi
  done
done
(b)修改脚本 xsync 具有执行权限
  chmod +x xsync
 c)测试脚本
  xsync /home/atguigu/xsync

二、hadoop集群配置

1.配置集群信息(修改hadoop的自定义配置文件)

1.配置:hadoop-env.sh (路径:$HADOOP_HOME/etc/hadoop ) 可以不修改 hadoop 3.x 之后不影响

        export JAVA_HOME=/opt/module/jdk1.8.0_212      (不知道jdk的路径的话  echo $JAVA_HOME)

2.配置core-site.xml (核心配置文件)(路径:$HADOOP_HOME/etc/hadoop )

      cd $HADOOP_HOME/etc/hadoop
      vim core-site.xml

文件内容如下:

    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
</property>
<!-- 指定hadoop数据的存储目录  
      
      官方配置文件中的配置项是hadoop.tmp.dir ,用来指定hadoop数据的存储目录,此次配置用的hadoop.data.dir是自己定义的变量, 因为在hdfs-site.xml中会使用此配置的值来具体指定namenode 和 datanode存储数据的目录

-->
    <property>
        <name>hadoop.data.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
</property>



<!-- 下面是兼容性配置,先跳过 -->
<!-- 配置该atguigu(superUser)允许通过代理访问的主机节点 -->
    <property>
        <name>hadoop.proxyuser.atguigu.hosts</name>
        <value>*</value>
</property>
<!-- 配置该atguigu(superuser)允许代理的用户所属组 -->
    <property>
        <name>hadoop.proxyuser.atguigu.groups</name>
        <value>*</value>
</property>
<!-- 配置该atguigu(superuser)允许代理的用户-->
    <property>
        <name>hadoop.proxyuser.atguigu.users</name>
        <value>*</value>
    </property>

3.配置hdfs-site.xml HDFS配置文件

      cd $HADOOP_HOME/etc/hadoop
      vim hdfs-site.xml
文件内容如下:
<!-- 指定副本数  -->
<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>
	
<!-- 指定NameNode数据的存储目录 -->
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file://${hadoop.data.dir}/name</value>
  </property>
 <!-- 指定Datanode数据的存储目录 -->

  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file://${hadoop.data.dir}/data</value>
  </property>
    
   <!-- 指定SecondaryNameNode数据的存储目录 -->

    <property>
    <name>dfs.namenode.checkpoint.dir</name>
    <value>file://${hadoop.data.dir}/namesecondary</value>
  </property>
   
   <!-- 兼容配置,先跳过 -->
    <property>
    <name>dfs.client.datanode-restart.timeout</name>
    <value>30s</value>
  </property>

  <!-- nn web端访问地址-->
<property>
  <name>dfs.namenode.http-address</name>
  <value>hadoop102:9870</value>
</property>
  <!-- 2nn web端访问地址-->

  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop104:9868</value>
</property>

4.配置yarn-site.xml YARN配置文件

      cd $HADOOP_HOME/etc/hadoop
      vim yarn-site.xml
 文件内容如下:
<!--NodeManager上运行的附属服务。需配置成mapreduce_shuffle,才可运行MapReduce程序-->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
 <!-- 指定ResourceManager的地址-->
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
</property>
<!-- 环境变量的继承 -->
<property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
<!--  取消虚拟内存的限制 -->
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>

5.配置mapred-site.xml MapReduce配置文件

      cd $HADOOP_HOME/etc/hadoop
      vim mapred-site.xml
 文件内容如下:
<!-- 指定MapReduce程序运行在Yarn上 -->
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

2.在集群上分发配置好的hadoop

xsync /opt/module/hadoop-3.1.3

3.集群单点启动

1)如果集群是第一次启动,需要格式化NameNode
hdfs namenode -format
2)在hadoop102上启动NameNode
 hdfs --daemon start namenode
3)完成后执行jps命令,看到如下结果(进程号可能不同)
   2867 NameNode
4)在hadoop102、hadoop103以及hadoop104上执行如下命令(三台都要执行  xshell 工具的群发功能)启动datanode
   hdfs --daemon start datanode
5)	在hadoop104上启动secondarynamenode
  hdfs --daemon start secondarynamenode
6)在hadoop103上启动ResourceManager
  yarn --daemon start resourcemanager
7)在hadoop102、hadoop103以及hadoop104上执行如下命令(三台都要执行)启动nodemanager
  yarn --daemon start nodemanager

4.集群单点关闭

YRAN  和 HDFS无先后顺序
1)在hadoop102、hadoop103以及hadoop104上关闭DataNode(Xshell群发功能)
 hdfs --daemon stop datanode
2)在hadoop102上关闭NameNode 
  hdfs --daemon stop namenode
3)	在hadoop104上关闭SecondaryNameNode
  hdfs --daemon stop secondarynamenode
4)在hadoop102、hadoop103以及hadoop104上关闭NodeManager(Xshell群发功能)
  yarn --daemon stop nodemanager
5)在hadoop103上关闭ResourceManager
   yarn --daemon stop resourcemanager

5.配置免密

(1)分别在hadoop102 hadoop103 hadoop104三台机器上生成公钥和私钥:
    ssh-keygen -t rsa
   然后敲(三个回车),就会在 ~/.ssh目录下生成两个文件
     id_rsa(私钥)、id_rsa.pub(公钥)

(2)分别在hadoop102 hadoop103 hadoop104执行,将公钥拷贝到要免密登录的目标机器上  自身机器也要配置
  ssh-copy-id hadoop102
  ssh-copy-id hadoop103
  ssh-copy-id hadoop104

标签:opt,hadoop,集群,atguigu,hadoop103,hadoop102,hadoop104,搭建
来源: https://www.cnblogs.com/xiao-bu/p/14218437.html