标签：xml mapred WordCount hadoop yarn site sh

1、配置集群

（1）在yarn-env.sh中配置JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_11

（2）在yarn-site.xml中配置

<!--Reducer获取数据的方式-->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<!--指定yarn的ResourceManager的地址-->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop01</value>
</property>

（3）配置mapred-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_11

（4）将mapred-site.xml.template重命名为mapred-site.xml

mv mapred-site.xml.template mapred-site.xml

并配置：

<!--指定MR运行在yarn上-->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

二、启动集群

确保NameNode和DataNode已经启动，用jps查看，若没启动，则进行启动（在hadoop-2.9.2目录下）

sbin/hadoop-daemon.sh start namenode

sbin/hadoop-daemon.sh start datanode

（1） 启动ResourceManager

sbin/yarn-daemon.sh start resourcemanager

（2）启动NodeManager

sbin/yarn-daemon.sh start nodemanager

systemctl status firewalld.service查看防火墙状态

systemctl stop firewalld.service 关闭运行的防火墙

（3） 查看集群

（4）执行WordCount

之前操作参考：https://www.cnblogs.com/xiximayou/p/12389363.html

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /user/gong/input /user/gong/output

然后就可以看到：

 

在控制台：

在50070端口：

删除应用：sh yarn application -kill jobId 

标签：xml,mapred,WordCount,hadoop,yarn,site,sh
来源： https://www.cnblogs.com/xiximayou/p/12395035.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。