Hadoop伪分布式部署及解决方案

作者： lsj

    1  配置JAVA的环境变量

vim /etc/profile.d/java-env.sh

     

2 配置Hadoop环境变量

vim /etc/profile.d/hadoop-env.sh

3 配置ssh免密登录

ssh-keygen -t rsa

cd ~/.ssh

cat ./id_rsa.pub >> ./authorized_keys

4 去到/opt/service/Hadoop/etc/hadoop下配置core-site.xml, hdfs-site.xml,mapred-site.xml,yarn-site.xml,Hadoop-env.sh

4.1  Vim Core-site.xml

 

 

4.2 vim  hdfs-site.xml

 

4.3  vim mapred-site.xml

4.4 vim yarn-site.xml

 

4.5  vim Hadoop-env.sh

第一行export JAVA_HOME=${JAVA_HOME}修改为export JAVA_HOME=/opt/service/jdk，即jdk的解压路径

 

5第一次启动时，namenode要做格式化，去到/opt/service/Hadoop/ 执行  bin/hdfs namenode -format

6 执行 sbin/start-dfs.sh

 

7使用jps命令查看进程信息：成功如下图

8在浏览器中输入 http://localhost:50070 ，即可查看相关信息，截图如下

 

补充说明

如果你安装了JDK,,但执行命令是出现如下图的情况

原因是你配置完JDK没有刷新,执行source /etc/profile

 

当你关掉虚拟机,再重新启动时,再执行jps查看进程时会有以下情况

这个问题很是头疼,原来是每次启动后都需要执行第5 ,6 步骤

如果执行到第6步骤出现

那是因为每次启动第五步骤时,NameNode中的clusterID是刷新的了,而DataNode中的clusterID是不变的.那么我们就需要去这个目录下,用vim 打开,把clusterID复制到/home/lsj/hadoop-2.8.5/tmp/dfs/data/current/这个目录下中VERSION的clusterID

成功结果显示

 

标签：xml,解决方案,clusterID,Hadoop,vim,sh,site,分布式
来源： https://blog.csdn.net/qq_42036301/article/details/89972440