HDFS,YARN,MapReduce三者之间的关系
作者:互联网
HDFS:DataNode存储数据,NameNode负责告诉别人数据存储在哪个节点,哪些信息,2NN,备份NameNode.
YARN:整个集群资源的管理。
大致过程:
1、有一个client(可以代码调用,一些页面访问入口等),向集群提交一个任务,比如查询某某文件。
2、client提交完任务之后,YARN中的ResourceManger找任意一个节点,开启一个Container,然后把任务放到Container中,任务叫App Mstr,App Mstr向ResourceManger申请,任务开启所需资源。ResourceManger寻找哪些节点有资源,App Mstr开启Map Task,相当于Map阶段。每一个Map Task独立运行,最终把结果汇总写入磁盘HDFS上。
标签:HDFS,Map,App,ResourceManger,MapReduce,YARN,Mstr 来源: https://www.cnblogs.com/danyuzhu11/p/15714047.html