标签：xml mapred Hadoop mapreduce yarn hadoop mr site

yarn上运行mr程序

配置yarn-env.sh

配置yarn-site.xml

 <!-- reducer获取数据的方式 -->
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>testnote01</value>
</property>

配置：mapred-env.sh

配置： (对mapred-site.xml.template重新命名为) mapred-site.xml

mv mapred-site.xml.template mapred-site.xml

<!-- 指定mr运行在yarn上 -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

hadoop-daemon.sh start namenode和datanode分别启动

启动yarn

启动成功

在程序上执行案例

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/input /user/output

map 0% reduce 0% map 100% reduce 0% map 100% reduce 100% 出现这个标识

在浏览器上可以查看

历史服务器的配置

vim的添加操作

		 <property>
			<name>mapreduce.jobhistory.address</name>
			<value>testnote01:10020</value>
		</property>
		
		<property>
		    <name>mapreduce.jobhistory.webapp.address</name>
		    <value>testnote01:19888</value>
		</property>

成功
检查原来是否含有output,有就删除

hadoop fs -rmr /user/output

yarn的8088端口点击history
知道跑了几个map和reduce,
左上角的Configuration有详细的配置信息

标签：xml,mapred,Hadoop,mapreduce,yarn,hadoop,mr,site
来源： https://blog.51cto.com/u_13985831/2836966

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。