chapter5 资源管理系统Yarn
作者:互联网
目录
Yarn最初就为MapReduce设计的资源管理器。
后逐步成为一个通用的资源管理系统,为上层应用提供统一的资源管理和调度。
1 设计思想
1.1 作业与资源管理
第一代MapReduce架构的缺陷:
- 资源管理和作业管理紧密耦合(都由JobTracker负责)。但资源管理与具体的作业无关。
- 作业的控制管理高度集中。JobTracker负责维护所有作业,内存开销大。
Yarn将资源管理从第一代MapReduce中独立出来,通过资源管理与作业相分离形成通用的资源管理系统,并使作业之间相互独立地控制执行。
1.2 平台与框架
平台
标签:chapter5,AM,MapReduce,Yarn,应用,RM,资源管理 来源: https://www.cnblogs.com/angelia-wang/p/15789700.html