YARN日志查询

第一篇学习了解是什么是Apache Hadoop Yarn，及其基本工作原理及流程，这篇将学习下Yarn的日志查询。

---

文章目录

• YARN日志查询
• 概述
• 一、ResourceManager Web UI界面
• 二、JobHistory Web UI界面
• 声明

---

概述

Yarn 提供了两种用于查看集群中运行作业的日志：Resource Manager Web UI 和 Job History Web UI；
【说明：由于本人在当前项目使用的CDH，所以相关的截图说明都是与CDH的CM相关的图片】

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、ResourceManager Web UI界面

ResourceManager Web UI 包含了当前运行的任务列表及历史任务列表，该日志可以通过链接IP+端口号的方式进行访问。

• IP地址：YARN的ResourceManager角色所在的服务器IP（活动状态）
  进入CM，选择集群中的“YARN”组件，进入后选择“实例”，可以看到对应的机器名（图1），然后再进入“主机”–>“所有主机”，可以找到对应机器名的IP（图2）；
  
• 端口：查看yarn-site.xml中的配置项yarn.resourcemanager.webapp.address 的值，默认为8088；
  在CM中，可以通过“集群”–>“YARN”–>“配置”，然后查找配置项 yarn.resourcemanager.webapp.address 来查看配置值（图3）
  
  根据对应的ip及端口就可以进入到对应的页面，如下：
  

二、JobHistory Web UI界面

JobHistory Web UI 只包含了历史运行的任务，该日志同样可以通过链接IP+端口号的方式进行访问。

• IP地址：YARN的JobHistory角色所在的服务器IP
  进入CM，选择集群中的“YARN”组件，进入后选择“实例”，可以找到对应的JobHistory Server的机器名，然后再进入“主机”–>“所有主机”，可以找到对应机器名的IP，同上；
  
• 端口：查看yarn-site.xml中的配置项mapreduce.jobhistory.webapp.address 的值，默认为19888；
  在CM中，可以通过“集群”–>“YARN”–>“配置”，然后查找配置项 mapreduce.jobhistory.webapp.address 来查看配置值，如下：
  

---

声明

学习是个记录的过程，本篇的内容汇集了不同的文档及书籍来源，记录分享完全是加深印象的过程；
参考来源如下：
《Hive性能调优实战》 林志煌

标签：Web,JobHistory,IP,Hadoop,Yarn,UI,YARN,Apache,日志
来源： https://blog.csdn.net/ForTheHope/article/details/111691353