02MapReduce

1.开启集群，

在node01中start-dfs.sh

2.创建一个单词本words.txt，并上传至hadoop中

hdfs dfs -mkdir /input
hadoop fs -put words.txt /input

3.使用mapreduce需要开启历史服务(日志)

①配置：/root/app/hadoop-2.8.3/etc/hadoop

	** mapred-site.xml
		<!-- 配置 MapReduce JobHistory Server 地址 ，默认端口10020 -->
		<property>
			<name>mapreduce.jobhistory.address</name>
			<value>linux01:10020</value>
		</property>
		
		<!-- 配置 MapReduce JobHistory Server web ui 地址， 默认端口19888 -->
		<property>
			<name>mapreduce.jobhistory.webapp.address</name>
			<value>linux01:19888</value>
		</property>

	** yarn-site.xml
		<property>
			<name>yarn.log-aggregation-enable</name>
			<value>true</value>
		</property>
		<property>
			<name>yarn.log-aggregation.retain-seconds</name>
			<value>86400</value>
		</property>
		<property> 
			<name>yarn.log.server.url</name> 
			<value>http://linux01:19888/jobhistory/logs/</value> 
		</property> 

②开启：

	sbin/mr-jobhistory-daemon.sh start historyserver

③查看：

	使用jps，是否有JobHistoryServer
	历览器查看 node01:19888

4.运行官方案例

 yarn jar /root/app/hadoop-2.8.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.3.jar wordcount /input/ /output/

wordcount是案例名称，/input/是统计的文件的位置，/output/是统计结果存放位置。结果就位于/output/中的“part-r-00000”文件中。

hdfs dfs -cat /output/*
查看统计内容

标签：jobhistory,hadoop,yarn,mapreduce,02MapReduce,output,input
来源： https://blog.csdn.net/ExclusiveName/article/details/97614153