centos7安装hadoop-2.8.0详细过程
作者：互联网
一、下载各项包：
Hadoop：http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz
jdk：https://www.oracle.com/java/technologies/downloads/ 选择jdk-8u321-linux-x64.tar.gz
注意：下载Hadoop时可能会出现下载较慢的情况，只需重新下载就会变快。
二、安装3个虚拟机并实现ssh免密码登录
1、安装3台虚拟机
安装之前选择GNOME且携带开发者工具
安装之前点击网络设置打开开关按钮
安装过程中设置root密码和新建用户
安装完毕后ip和主机对应关系为：
192.168.181.128——hserver1
192.168.181.129——hserver2
192.168.181.130——hserver3
2、设置主机名称建立映射
ssh工具连接上之后，修改主机名
hostname hostname hserver1 hostname
修改/etc/hosts文件，添加如下内容
vim /etc/hosts
192.168.181.128 hserver1 192.168.181.129 hserver2 192.168.181.130 hserver3
ping -c 3 hserver2
3、生成密钥，使用ssh进行无密码登录
ssh-keygen -t rsa -P '' 回车 ls /root/.ssh/
在hserver1上创建authorized_keys文件
touch /root/.ssh/authorized_keys vim /root/.ssh/id_rsa.pub
将authorized_keys文件复制到其他机器
直接在SecureFX可视化工具中把128的authorized_keys文件复制到129和130
测试使用ssh进行无密码登录，两两互测
ssh hserver2
三、安装jdk
查看当前jdk安装版本
java -version
查看openjdk版本
rpm -qa | grep jdk
除.noarch,其余已有的jdk全部删除
rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.171-2.6.13.2.el7.x86_64 rpm -e --nodeps java-1.7.0-openjdk-1.7.0.171-2.6.13.2.el7.x86_64 rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.161-2.b14.el7.x86_64 rpm -e --nodeps java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64
再运行，查看openjdk是否删除成功
java -version
创建Java目录
mkdir -p /usr/java
把下载好的java安装包复制到刚刚建好的目录下
进入刚刚建好的目录
cd /usr/java
解压缩
tar -zxvf jdk-8u321-linux-x64.tar.gz
查看解压后的文件
ls
编辑Java的配置文件
vim /etc/profile
JAVA_HOME=/usr/java/jdk1.8.0_321 JRE_HOME=$JAVA_HOME/jre PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin CLASS_PATH=.:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib export JAVA_HOME
使文件生效
source /etc/profile
查看Java版本
java -versions
四、安装hadoop
以下除特殊说明，三个节点均需配置。
1、安装
在opt目录下新建一个名为hadoop的目录，并将下载得到的hadoop-2.8.0.tar上载到该目录下
进入目录并解压
cd /opt/hadoop tar -xvf hadoop-2.8.0.tar.gz
新建一些目录
mkdir /root/hadoop mkdir /root/hadoop/tmp mkdir /root/hadoop/var mkdir /root/hadoop/dfs mkdir /root/hadoop/dfs/name mkdir /root/hadoop/dfs/data
2、配置core-site.xml
vim /opt/hadoop/hadoop-2.8.0/etc/hadoop/core-site.xml
在<configuration>节点内加入配置:
<property> <name>hadoop.tmp.dir</name> <value>/root/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.default.name</name> <value>hdfs://hserver1:9000</value> </property>
3、修改hadoop-env.sh文件
vim /opt/hadoop/hadoop-2.8.0/etc/hadoop/hadoop-env.sh
将export JAVA_HOME=${JAVA_HOME}
修改为：
export JAVA_HOME=/usr/java/jdk1.8.0_321
4、修改hdfs-site.xml
vim /opt/hadoop/hadoop-2.8.0/etc/hadoop/hdfs-site.xml
在<configuration>节点内加入配置
<property>
<name>dfs.name.dir</name>
<value>/root/hadoop/dfs/name</value>
<description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/root/hadoop/dfs/data</value>
<description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
<description>need not permissions</description>
</property>
5、新建并且修改mapred-site.xml
复制模板
cp /opt/hadoop/hadoop-2.8.0/etc/hadoop/mapred-site.xml.template /opt/hadoop/hadoop-2.8.0/etc/hadoop/mapred-site.xml
修改
vim /opt/hadoop/hadoop-2.8.0/etc/hadoop/mapred-site.xml
在<configuration>节点内加入配置
<property> <name>mapred.job.tracker</name> <value>hserver1:49001</value> </property> <property> <name>mapred.local.dir</name> <value>/root/hadoop/var</value> </property> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
6、修改slaves文件，只在主节点
vim /opt/hadoop/hadoop-2.8.0/etc/hadoop/slaves
删除loaclhost，添加：
hserver2 hserver3
7、修改yarn-site.xml文件
vim /opt/hadoop/hadoop-2.8.0/etc/hadoop/yarn-site.xml
在<configuration>节点内加入配置
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hserver1</value>
</property>
<property>
<description>The address of the applications manager interface in the RM.</description>
<name>yarn.resourcemanager.address</name>
<value>${yarn.resourcemanager.hostname}:8032</value>
</property>
<property>
<description>The address of the scheduler interface.</description>
<name>yarn.resourcemanager.scheduler.address</name>
<value>${yarn.resourcemanager.hostname}:8030</value>
</property>
<property>
<description>The http address of the RM web application.</description>
<name>yarn.resourcemanager.webapp.address</name>
<value>${yarn.resourcemanager.hostname}:8088</value>
</property>
<property>
<description>The https adddress of the RM web application.</description>
<name>yarn.resourcemanager.webapp.https.address</name>
<value>${yarn.resourcemanager.hostname}:8090</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>${yarn.resourcemanager.hostname}:8031</value>
</property>
<property>
<description>The address of the RM admin interface.</description>
<name>yarn.resourcemanager.admin.address</name>
<value>${yarn.resourcemanager.hostname}:8033</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>2048</value>
<discription>每个节点可用内存,单位MB,默认8182MB</discription>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
五、启动Hadoop
只需要对hserver1进行初始化操作
cd /opt/hadoop/hadoop-2.8.0/bin ./hadoop namenode -format
格式化成功后，可以在看到在/root/hadoop/dfs/name/目录多了一个current目录，而且该目录内有一系列文件
因为hserver1是namenode，hserver2和hserver3都是datanode，所以只需要再hserver1上执行启动命令即可
cd /opt/hadoop/hadoop-2.8.0/sbin ./start-all.sh yes 回车
六、测试hadoop
关闭防火墙
systemctl stop firewalld.service
本地浏览器访问http://192.168.181.128:50070/自动跳转到了overview页面
本地浏览器里访问如下地址：http://192.168.181.128:8088/自动跳转到了cluster页面
标签：java,resourcemanager,hadoop,yarn,centos7,2.8,root 来源： https://www.cnblogs.com/wangtay/p/16067914.html