其他分享
首页 > 其他分享> > spark处理过程

spark处理过程

作者:互联网

(1)构建Spark Application的运行环境,启动SparkContext

(2)SparkContext向资源管理器注册并向资源管理器申请运行Executor

(3)资源管理器分配Executor并启动Executor

(4)Executor发送心跳至资源管理器

(5)SparkContext构建DAG图

(6)将DAG分解成Stage,把Stage发送给taskScheduler

(7)Executor向SparkContext申请task

(8)taskScheduler将task发送给Executor运行

(9)SparkContext将应用程序代码发送给Executor

(10)task在Executor上运行,运行完毕释放所有资源

标签:SparkContext,task,处理过程,发送给,Executor,spark,资源管理,运行
来源: https://www.cnblogs.com/18800105616a/p/16384931.html