20210329学习笔记--不管每天学的好坏,我都坚持每天在学,坚持到底。并且在这个过程中我充满了热血和激动的心情,这是我所追求的不平淡的生活。
作者:互联网
继续执行写好的MapReduce程序,感觉用020304这三台比较好。
1.检查服务
node01
ResourceManager
NameNode
node02
NodeManager
DataNode
node03
DataNode
没了??
node04
DataNode
NodeManager
2.Web UI查看运行情况
扫盲下yarn,yarn其实就是mapreduce把调度这部分功能分离出来了,叫yarn,mapreduce自己现在只负责计算,而且yarn还可以用来调度其他计算框架。
hadoop 2.6.5/web UI访问
- hadoop, node01:50070(默认包括hdfs+mapreduce)
- yarn,node01:8088(job执行情况)
- jobhistoryserver,node01:19888
3.单节点手动启服务
集群总会有节点,某些组件挂掉,比如node03的nodeManager就没起来,手动起了一下好了。
启动各组件命令总结:
hdfs启动命令:
# 启动namenode
hadoop-daemon.sh start namenode
# 启动datanode,这个比较常用,因为可能会出现有的datanode没有起来
hadoop-daemon.sh start datanode
# 启动secondarynamenode
hadoop-daemon.sh start secondarynamenode
启动yarn命令:
# 启动resourcemanager
yarn-daemon.sh start resourcemanager
# 启动nodemanager
yarn-daemon.sh start nodemanager
启动历史服务器:
#启动历史服务器,一般的历史服务是肯定需要我们手动启动的
mr-jobhistory-daemon.sh start historyserver
4.MapReduce报错解决思路
首先应该是查日志,而不是去搜索报错,因为直接显示的报错都是表面原因。
Hadoop 2.x中YARN系统的服务日志包括ResourceManager日志和各个NodeManager日志,他们的日志位置如下:
ResourceManager日志:Hadoop安装目录下的logs目录下的yarn-*-resourcemanager-*.log
NodeManager日志:各个NodeManager节点上hadoop安装目录下的logs目录下的yarn-*-nodemanager-*.log
应用程序日志包括jobhistory日志和Container日志,其中,jobhistory日志是应用程序运行日志,包括应用程序启动时间、结束时间,每个任务的启动时间、结束时间,各种counter信息等。
Container日志包含ApplicationMaster日志和普通Task日志,它们均存放在Hadoop安装目录下的userlogs目录中的application_xxx目录下,其中ApplicationMaster日志目录名称为container_xxx_000001,普通task日志目录名称则为container_xxx_000002,container_xxx_000003,….,同Hadoop 1.x一样,每个目录下包含三个日志文件:stdout、stderr和syslog,且具体含义是一样的。
后记:看了下虚拟机好多文件还停留在2019年,回想起2019年半途而废的自己。
标签:daemon,20210329,每天,启动,--,hadoop,yarn,start,日志 来源: https://www.cnblogs.com/gen2122/p/14594459.html