其他分享
首页 > 其他分享> > Spark学习<->:设计理念和基本架构

Spark学习<->:设计理念和基本架构

作者:互联网

Spark学习
-本系列学习书籍《Spark内核设计的艺术:架构设计与实现》--耿嘉安
一.本文内容:概括性讲述Spark的设计理念和基本架构
二.Spark设计理念
1.Spark包含很多子模块,理解这些模块有助于我们掌握Spark的设计思想。Spark的模块按照重要程度可分为核心功能和扩展功能。核心功能是Spark设计理念的核心实现,也是Spark陆续加入新功能的基础。在核心功能之上,通过不断地将丰富的扩展功能持续集成到Spark中,使得Spark满足更多市场、应用和用户的需求,促使Spark生态圈更加繁荣。
2.Spark在编程模型方面没有采用Hadoop的MapReduce编程模型,而是封装了丰富的转换与执行的API。开发人员可以充分利用这些API编写自己的Spark应用程序,而不用拘泥于如何套用MapReduce编程模型中的Mapper或Reducer。Spark提供的转换API将会在底层将数据封装为RDD,并对这些RDD进行转换、构建血缘、构建DAG、分片划分等处理,这些过程都是透明的,使得开发人员能更加专注于自己的业务实现。
3.Spark的模块设计:整个Spark主要由Spark Coke、Spark SQL、Spark Streaming、GraphX、MLlib组成,而后四项的能力都是建立在核心引擎之上
1)Spark核心功能:Spark Core中提供了Spark最基础与最核心的功能
(1)基础设施
(2)SparkContext
(3)SparkEnv
(4)存储体系
(5)调度系统
(6)计算引擎
2)Spark扩展功能
(1)Spark SQL
(2)Spark Streaming
(3)GraphX
(4)MLlib
4.Spark的模型设计:
1)Spark编程模型
2)RDD计算模型
三.Spark的基本架构
1.从集群部署的角度来看,Spark集群由集群管理器(Cluster Manager)、工作节点(Worker)、执行器(Executor)、驱动器(Driver)、应用程序(Application)等部分组成

  (1)Cluster Manager:Spark的集群管理器,主要负责对整个集群资源的分配与管理。Cluster Manager在YARN部署模式下为ResourceManager;在Mesos部署模式下为MesosMaster;在Standalone部署模式下为Master。Cluster Manager分配的资源属于一级分配,它将各个Worker上的内存、CPU等资源分配给Application,但是并不负责对Executor的资源分配。
  (2)Worker:Spark的工作节点。在YARN部署模式下实际由NodeManager替代。
  (3)Executor:执行计算任务的一线组件。主要负责任务的执行及与Worker、Driver的信息同步。
  (4)Driver:Application的驱动程序,Application通过Driver与Cluster Manager、Executor进行通信。Driver可以运行在Application中,也可以由Application提交给ClusterManager并由Cluster Manager安排Worker运行。
  (5)Application:用户使用Spark提供的API编写的应用程序,Application通过Spark API将进行RDD的转换和DAG的构建,并通过Driver将Application注册到Cluster Manager。Cluster Manager将会根据Application的资源需求,通过一级分配将Executor、内存、CPU等资源分配给Application。Driver通过二级分配将Executor等资源分配给每一个任务,Application最后通过Driver告诉Executor运行任务。

标签:架构,理念,Cluster,Driver,Application,Manager,Executor,Spark
来源: https://www.cnblogs.com/data-world/p/15676102.html