Linux下配置Hadoop的伪分布环境的搭建

1. 查看jps
   [root@master ~]# jps 7445 Jps
   如果出现这个则可以继续下一步
   如果没有请参考jdk环境搭建

2. 导入Hadoop包，并放到/opt目录下
   

3. 查看Hadoop包是否导入

   [root@master ~]# cd /opt
   [root@master opt]# ll
   total 485452
   -rw-r--r--. 1 root root 311585484 Jul 31 09:24 hadoop-2.6.0-cdh5.7.0.tar.gz
   -rw-r--r--. 1 root root 185515842 Jul 28 21:01 jdk-8u144-linux-x64.tar.gz
   

4. 解压Hadoop

   [root@master opt]# tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C /usr/local/
   

   -C后是解压到的文件夹

5. 配置Hadoop环境
   第一步、进入hadoop配置环境

   [root@master /]# cd /usr/local/hadoop-2.6.0-cdh5.7.0/etc/hadoop
   
   

    1. 修改hadoop-env.sh 文件
   	```
   	[root@master hadoop]# vim hadoop-env.sh
   	```
   	修改JAVA_HOME路径
   	export JAVA_HOME=/usr/local/jdk1.8.0_144	   	
   	![在这里插入图片描述](https://www.icode9.com/i/ll/?i=20190731194033763.png)
   2. 修改core-site.xml文件
   	```
   	[root@master hadoop]# vim core-site.xml
   	```
   	编辑：
   	```
   	<configuration>
   	        <!-- 指定HDFS中NameNode的地址 -->
   	  　　　　<property>
   	  　　　　　　 <name>fs.defaultFS</name>
   	   　　　　　　<value>hdfs://主机ip或映射名:9000</value>
   	  　　　　</property>
   	  　　　　<!-- 指定hadoop运行时产生文件的存储目录 -->
   	  　　　　<property>
   	   　　　　　　<name>hadoop.tmp.dir</name>
   	   　　　　　　<value>/usr/local/hadoop-2.6.0-cdh5.7.0/tmp</value>
   	          </property>
   	</configuration>
   	```
   3. 修改hdfs-site.xml文件  副本备份机制
          `[root@master hadoop]# vim hdfs-site.xml `
   	```
   	<configuration>
   	<!-- 指定HDFS副本的数量 -->
   	  　　　　<property>
   	   　　　　　　<name>dfs.replication</name>
   	   　　　　　　<value>1</value>
   	    　　  </property>
   	</configuration>
   	
   	```
   	
   4. 配置 /etc/profile并生效
   	```
   	[root@master hadoop-2.6.0-cdh5.7.0]# pwd
   	/usr/local/hadoop-2.6.0-cdh5.7.0
   	[root@master hadoop-2.6.0-cdh5.7.0]# vim /etc/profile
   	 ```
   	在文件末尾编辑
   	```
   	export JAVA_HOME=/usr/local/jdk1.8.0_144
   	export HADOOP_HOME=/usr/local/hadoop-2.6.0-cdh5.7.0
   	export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   	```
   	生效并查看
   	```
   	[root@master hadoop-2.6.0-cdh5.7.0]# source /etc/profile
   	[root@master hadoop-2.6.0-cdh5.7.0]# hadoop  //查看是否生效
   	```
   					
    5. 格式化
   
   	```
   	[root@master hadoop-2.6.0-cdh5.7.0]# hadoop namenode -format
   	```
   	如果文件末尾出现successfull，则证明格式化成功
   

   第二步、启动

    1. 进入tmp文件下slaves	
   	```
   	[root@master current]# vim slaves
   	```
   	文件内容datanode所在虚拟机名称
   	默认本机
   	
   
   2. 进入 /usr/local/hadoop-2.6.0-cdh5.7.0/sbin
   	```
   	[root@master sbin]# start-dfs.sh 
   	```
   	然后输入jsp命令
   	```
   	[root@master sbin]# jps
   	7812 SecondaryNameNode
   	7653 DataNode
   	7915 Jps
   	7535 NameNode
   	```
   	如果出现以上，证明启动成功
   3. 查看防火墙
   	```
   	[root@master /]# firewall-cmd --state
   	```
   	如果是running，则关闭
   	```
            [root@master /]# systemctl stop firewalld.service
   
   	  ```
   

   第三步
   打开浏览器 输入192.168.xx.xx:50070
   出现以下页面证明环境搭建成功
   如果没出来，请检查配置文件是否正确，防火墙是否关闭！

标签：cdh5.7,local,hadoop,Hadoop,master,Linux,root,2.6,搭建
来源： https://blog.csdn.net/weixin_45389022/article/details/97751884