yarn集群无法提交新任务记录始末
作者:互联网
背景介绍
测试通知,hive提交的mr任务卡住一个小时,无法执行。
定位问题
确定是否是应用程序的问题
测试使用的是页面应用提交的任务,先确定是否是应用的问题。在yarn webUI查看,发现任务已经提交到yarn中,处于ACCEPTED状态。——确定应用已经将任务正常提交。
确定是否是hive的问题。
查看ambari界面hive组件,无报错。在hive客户端执行简单查询命令,show tables;select * from table_name;均正常执行。再执行mr任务的时候,问题复现:
select * from table_name order by id;
任务卡住,如下图:
此时hive提交mr作业到yarn集群,job已经提交完毕,基本可以确定不是hive的问题。
进一步排除hive的问题,单独执行mr任务:执行简单wordcount
写一个testfile,内容如下:
a 33
b 2
c 4
d 6
然后将这个文件上传至hdfs中的/user/hdfs目录后,执行命令:hadoop jar /usr/hdp/2.6.5.0-292/hadoop-mapreduce/hadoop-mapreduce-examples-2.7.3.2.6.5.0-292.jar wordcount testfile /tmp/output
发现同样卡住。已排除hive的问题。
mr需要提交任务到yarn中,需要确定是mr的问题还是yarn的问题。
在yarn的webui中查看任务状态发现YarnApplicationState这一行显示:ACCEPTED: waiting for AM container to be allocated, launched and register with RM.
由此可以得出,此任务的am资源无法分配,有可能是yarn资源不足导致。
继续查看webUI,发现系统资源利用率较低,内存使用率30%左右,cpu使用率60%。目前集群内只有一个spark任务在运行,处于RUNNING状态。
但是,apps Pending竟然有27个任务处于pending状态。
这27个任务,大多数是spark的任务。
问题解决:
将27个pending状态的任务全部kill掉,发现yarn集群就可以正常提交任务了。
遗留问题:
1、目前尚不清楚这27个pending任务的成因是什么。
2、yarn使用的队列是fair schedule队列,此调度原理需进一步学习
标签:27,始末,hive,任务,集群,yarn,提交,mr 来源: https://blog.csdn.net/love910809/article/details/113846132