其他分享
首页 > 其他分享> > MOBA使用，hadoop完全分布式搭建

MOBA使用，hadoop完全分布式搭建

作者：互联网

Moba使用创建

  1. 打开moba创建新的连接服务
  2. 出现以下页面
  1. 你之前ping192.168.1.100成功没有，没有这就打不开
  2. 如果你是ping192.168.1.128成功，那个这个new session就要连接192.168.1.128
  3. 如果虚拟机没有启动也是出现下面情况，请直接输入R就可刷新

链接成功之后

差不多就是这样

我们需要在/opt下面创建两个文件夹

  1. software：放软件的压缩包

创建software文件夹的命令：mkdir software

  1. module：放软件解压后的文件夹
  1. 切换到software文件夹下

cd  /opt/software

  1. 解压jdk到module文件夹中

命令 tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

  1. 输入vi /etc/profile
  2. Shift+g到最后一行

输入  

  1. 之后esc   -------》  ：wq
  2. 输入：source /etc/profile
  3. 输入：java -version出现

就成功了~~~~

  1. 输入vi /etc/profile
  2. Shift+g到最后一行

输入  

（3）之后esc   -------》  ：wq

（4）输入：source /etc/profile

（5）输入：hadoop version

Hadoop完全分布式搭建

  1. 核心配置文件

配置：hadoop-env.sh（在/opt/module/hadoop-3.1.3/etc/hadoop目录下）

Linux系统中获取JDK的安装路径：

[soft863@ hadoop100 ~]# echo $JAVA_HOME

/opt/module/jdk1.8.0_212

在hadoop-env.sh文件中修改JAVA_HOME 路径：

（在第54行修改）

export JAVA_HOME=/opt/module/jdk1.8.0_212

配置core-site.xml

cd $HADOOP_HOME/etc/hadoop

vim core-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://hadoop100:9820</value>

</property>

<!-- hadoop.data.dir是自定义的变量，下面的配置文件会用到 -->

    <property>

        <name>hadoop.data.dir</name>

        <value>/opt/module/hadoop-3.1.3/data</value>

    </property>

</configuration>

      （2）HDFS配置文件

配置hdfs-site.xml

vim hdfs-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

  <!-- namenode数据存放位置 -->

<property>

    <name>dfs.namenode.name.dir</name>

    <value>file://${hadoop.data.dir}/name</value>

  </property>

  <!-- datanode数据存放位置 -->

  <property>

    <name>dfs.datanode.data.dir</name>

    <value>file://${hadoop.data.dir}/data</value>

  </property>

  <!-- secondary namenode数据存放位置 -->

    <property>

    <name>dfs.namenode.checkpoint.dir</name>

    <value>file://${hadoop.data.dir}/namesecondary</value>

  </property>

  <!-- datanode重启超时时间是30s，解决兼容性问题，跳过 -->

  <property>

    <name>dfs.client.datanode-restart.timeout</name>

    <value>30</value>

  </property>

  <!-- 设置web端访问namenode的地址 -->

<property>

    <name>dfs.namenode.http-address</name>

    <value>hadoop100:9870</value>

</property>

  <!-- 设置web端访问secondary namenode的地址 -->

  <property>

    <name>dfs.namenode.secondary.http-address</name>

    <value>hadoop102:9868</value>

  </property>

</configuration>

（3）YARN配置文件

配置yarn-site.xml

vim yarn-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>hadoop101</value>

    </property>

    <property>

        <name>yarn.nodemanager.env-whitelist</name>

        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>

    </property>

</configuration>

（4）MapReduce配置文件

配置mapred-site.xml

vim mapred-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

  <property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

  </property>

</configuration>

集群分发

把module目录拷贝到hadoop100：

[root@hadoop102 opt]# cd /opt

[root@hadoop102 opt]# scp -r module/ hadoop100:/opt/

把module目录拷贝到hadoop101：

[root@hadoop102 opt]# rsync -av module hadoop101:/opt/

把 /etc/profile拷贝到hadoop100 hadoop101

[root@hadoop102 opt]# rsync -av /etc/profile hadoop101:/etc

[root@hadoop102 opt]# rsync -av /etc/profile hadoop100:/etc

在hadoop100和hadoop101上分别要进行source /etc/profile

[root@hadoop100 opt]# source /etc/profile

[root@hadoop101 opt]# source /etc/profile

分布式集群格式化

分布式集群第一次启动之前要格式化

格式化之前，要把三个服务器上的hadoop安装目录下的 data目录和logs目录都删掉

[root@hadoop101 opt]# cd /opt/module/hadoop-3.1.3

[root@hadoop101 opt]# rm -rf data

[root@hadoop101 opt]# rm -rf logs

在指定namenode运行的服务器上执行格式化：

（namenode指定在hadoop100上运行的）

[root@hadoop100 hadoop-3.1.3]# hdfs namenode -format

集群单点启动

在每个节点上分别启动下边表格的进程：

hadoop100

hadoop101

hadoop102

HDFS

NameNode

DataNode

DataNode

SecondaryNameNode

DataNode

YARN

NodeManager

ResourceManager

NodeManager

NodeManager

Hadoop100：

hdfs --daemon start namenode

hdfs --daemon start datanode

yarn --daemon start nodemanager

hadoop101：

      yarn --daemon start resourcemanager

hdfs --daemon start datanode

yarn --daemon start nodemanager

hadoop102：

      hdfs --daemon start secondarynamenode

hdfs --daemon start datanode

yarn --daemon start nodemanager

      1）启动hdfs相关

            hdfs --daemon start namenode

            hdfs --daemon start datanode

      2）启动yarn相关

            yarn --daemon start resourcemanager

            yarn --daemon start nodemanager

ssh免密登录

1、在每个节点生成公钥和私钥，并拷贝

Hadoop100：

      生成公钥和私钥

[root@hadoop100] ssh-keygen -t rsa

然后敲（三个回车）

将公钥拷贝到要免密登录的目标机器上

[root@hadoop100] ssh-copy-id hadoop100

[root@hadoop100] ssh-copy-id hadoop101

[root@hadoop100] ssh-copy-id hadoop102

Hadoop101：

      生成公钥和私钥

[root@hadoop101] ssh-keygen -t rsa

然后敲（三个回车）

将公钥拷贝到要免密登录的目标机器上

[root@hadoop101] ssh-copy-id hadoop100

[root@hadoop101] ssh-copy-id hadoop101

[root@hadoop101] ssh-copy-id hadoop102

Hadoop102：

      生成公钥和私钥

[root@hadoop102] ssh-keygen -t rsa

然后敲（三个回车）

将公钥拷贝到要免密登录的目标机器上

[root@hadoop102] ssh-copy-id hadoop100

[root@hadoop102] ssh-copy-id hadoop101

[root@hadoop102] ssh-copy-id hadoop102

2、修改hadoop配置文件

      在hadoop100上的start-dfs.sh 和stop-dfs.sh 文件最上边添加几行数据

[root@hadoop100] cd /opt/module/hadoop-3.1.3/sbin

[root@hadoop100] vi start-dfs.sh

HDFS_DATANODE_USER=root

HADOOP_SECURE_DN_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

[root@hadoop100] vi stop-dfs.sh

HDFS_DATANODE_USER=root

HADOOP_SECURE_DN_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

     

      在 start-yarn.sh 和 stop-yarn.sh文件最上方添加几行数据

[root@hadoop100] vi start-yarn.sh

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

[root@hadoop100] vi stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

      在hadoop100上修改workers：

[root@hadoop100] cd /opt/module/hadoop-3.1.3/etc/hadoop

[root@hadoop100] vi workers

hadoop100

hadoop101

hadoop102

      把上面的修改同步到hadoop101、hadoop102上：

[root@hadoop100] scp -r /opt/module/hadoop-3.1.3/sbin/ hadoop101:/opt/module/hadoop-3.1.3/sbin/

[root@hadoop100] scp -r /opt/module/hadoop-3.1.3/sbin/ hadoop102:/opt/module/hadoop-3.1.3/sbin/

[root@hadoop100] scp -r /opt/module/hadoop-3.1.3/etc/hadoop/ hadoop101:/opt/module/hadoop-3.1.3/etc/hadoop/

[root@hadoop100] scp -r /opt/module/hadoop-3.1.3/etc/hadoop/ hadoop102:/opt/module/hadoop-3.1.3/etc/hadoop/

启动停止集群

启动集群：

如果集群上已经启动hadoop相关程序，可以先执行停止。

在hadoop100上执行以下脚本，用来启动hdfs：

[root@hadoop100] start-dfs.sh

在hadoop101上执行以下脚本，用来启动yarn：

[root@hadoop101] start-yarn.sh

停止集群：

在hadoop100上执行以下脚本，用来停止hdfs：

[root@hadoop100] stop-dfs.sh

在hadoop101上执行以下脚本，用来停止yarn：

[root@hadoop101] stop-yarn.sh

标签：opt,MOBA,hadoop,yarn,hadoop101,hadoop100,root,分布式
来源： https://blog.csdn.net/qq_54417407/article/details/121743998