其他分享
首页 > 其他分享> > Hadoop配置JobHistory

Hadoop配置JobHistory

作者:互联网

1.修改/usr/local/hadoop/etc/hadoop/yarn-site.xml,添加如下代码

    <property>
      <name>yarn.log-aggregation-enable</name>
      <value>true</value>
    </property>   
    <!-- 配置日志服务器的地址,work节点使用 -->
    <property>
         <name>yarn.log.server.url</name>
         <value>http://master1:19888/jobhistory/logs</value>
    </property>
    <!-- 配置日志过期时间,单位秒 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>86400</value>
    </property>

2.修改/usr/local/hadoop/etc/hadoop/mapred-site.xml,添加如下代码

    <!--配置jobhistory的地址和web管理地址-->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>master1:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>master1:19888</value>
    </property>

3.将上面两文件修改同步到集群中的所有机器的/usr/local/hadoop/etc/hadoop

4.在集群中的任意一台机器机动jobhistory

/usr/local/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver

5.启动完之后,就可以通过http://master1:19888/访问

 

标签:master1,jobhistory,配置,hadoop,yarn,Hadoop,usr,local,JobHistory
来源: https://www.cnblogs.com/jmbkeyes/p/14062953.html