其他分享
首页 > 其他分享> > Spark任务执行各对象创建的时机

Spark任务执行各对象创建的时机

作者:互联网

1.SparkContext哪一端生成的?
Driver端

2.DAG是在哪一端被构建的?
Driver端

3.RDD是在哪一端生成的?
Driver端

4.广播变量是在哪一端调用的方法进行广播的?
Driver端

5.要广播的数据应该在哪一端先创建好再广播呢?
Driver端

6.调用RDD的算子(Transformation和Action)是在哪一端调用的
Driver端

7.RDD在调用Transformation和Action时需要传入一个函数,函数是在哪一端声明和传入的?
Driver端

6.RDD在调用Transformation和Action时需要传入函数,请问传入的函数是在哪一端执行了函数的业务逻辑?
Executor中的Task执行的

7.自定义的分区器这个类是在哪一端实例化的?
Driver端

8.分区器中的getParitition方法在哪一端调用的呢?
Executor中的Task中调用的

9.Task是在哪一端生成的呢?
Driver端

10.DAG是在哪一端构建好的并被切分成一到多个State的
Driver端

11.DAG是哪个类完成的切分Stage的功能?
DAGScheduler

12.DAGScheduler将切分好的Stage以什么样的形式给TaskScheduler
TaskSet

 

标签:调用,创建,Driver,一端,Transformation,RDD,DAG,Spark,时机
来源: https://www.cnblogs.com/dali1314/p/14821271.html