Centos7.4环境下Hadoop下载与安装
作者：互联网
1.下载地址
https://dist.apache.org/repos/dist/release/hadoop/common/
我们这里用的版本是：hadoop-2.7.7.tar.gz
2.然后我们在Centos环境中的opt目录创建install文件夹(用来存放压缩包)和soft文件夹(用来存放解压之后的文件)目录:
cd /opt
mkdir install soft
3.下载rz(用来向Linux Centos传送文件)和sz命令:
yum install -y lrzsz
接着进入install目录：cd /opt/install
然后输入rz命令 选中我们刚才下载的hadoop-2.7.7.tar.gz 传输完毕后我们在instal目录输入ll命令就可以看到hadoop-2.7.7.tar.gz
4.解压hadoop-2.7.7.tar.gz
输入命令:tar -zxvf hadoop-2.7.7.tar.gz
解压成功后我们会在install目录看到一个hadoop-2.7.7文件,这就是我们需要的东西，接下来移动一下位置，把它移到 opt目录的soft文件夹中：mv hadoop-2.7.7 /opt/soft
进入soft目录: cd /opt/soft
移到完成后我在这给hadoop-2.7.7改了个名字：mv hadoop-2.7.7 hadoop2.7
5.配置环境变量
进入etc目录的profile文件：vi /etc/profile
在尾行添加如下命令:
HADOOP_HOME=/opt/soft/hadoop2.7
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
图中多了jdk的环境变量，因为hadoop是由java编写的，配置jdk环境是必不可少的，在这里就不演示jdk的安装了
6.修改hadoop配置文件
①修改hadoop-env.sh
进入hadoop2.7目录: cd /opt/soft/hadoop2.7
编辑配置文件hadoop-env.sh: vi etc/hadoop/hadoop-env.sh
修改25行(这里修改的是jdk的位置): export JAVA_HOME=/opt/soft/jdk1.8
修改33行(这里修改的是hadoop的位置): export HADOOP_CONF_DIR=/opt/soft/hadoop2.7/etc/hadoop
②修改core-site.xml配置文件
vi etc/hadoop/core-site.xml
在尾末添加:
<configuration>
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadop51:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/soft/hadoop2.7/tmp</value>
</property>
</configuration>
注意这里的hadop51是主机名，可以在 vi /etc/hostname中修改
③修改hdfs-site.xml配置文件
vim etc/hadoop/hdfs-site.xml
在尾末添加:
<configuration>
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
④修改mapred-site.xml配置文件
这个配置文件一般没有，但是有个模板，名字是：mapred-site.xml.templat
我们把模板复制一遍:
进入etc目录下单hadoop文件夹： cd etc/hadoop
复制: scp mapred-site.xml.template mapred-site.xml
修改配置文件:vi mapred-site.xml
在尾末添加：
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
⑤修改yarn-site.xml配置文件
vi yarn-site.xml
在尾末添加
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadop51</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
注意这里的hadop51是主机名，可以在 vi /etc/hostname中修改(和之前的一致，修改过可以省略)
⑥修改slaves文件
vi slaves
修改为自己的主机名
至此配置文件修改完毕，注意这些配置文件都在 /opt/soft/hadoop2.7/etc/hadoop目录下
7.格式化文件系统：
hadoop namenode -format
8.配置免密通信：
如果不配置免密通信每次启动Hadoop都要输入很多次密码，很麻烦。
输入命令: ssh-keygen
之后一直回车 可以看到类似图形：
在输入命令: ssh-copy-id hadop51
注意这里的hadop51是主机名
⑨启动和关闭Hadoop
启动: start-all.sh
关闭: stop-all.sh
⑩web端查看是否启动成功
http://192.168.31.54:50070 #查看NameNode的状态
http://192.168.31.54:50075 #查看DataNode的状态
http://192.168.31.54:50090 #查看SecondaryNameNode的状态
标签：opt,xml,Centos7.4,Hadoop,hadoop,etc,site,soft,下载 来源： https://www.cnblogs.com/theyang/p/12336391.html