Spark任务执行各对象创建的时机
作者:互联网
1.SparkContext哪一端生成的?
Driver端
2.DAG是在哪一端被构建的?
Driver端
3.RDD是在哪一端生成的?
Driver端
4.广播变量是在哪一端调用的方法进行广播的?
Driver端
5.要广播的数据应该在哪一端先创建好再广播呢?
Driver端
6.调用RDD的算子(Transformation和Action)是在哪一端调用的
Driver端
7.RDD在调用Transformation和Action时需要传入一个函数,函数是在哪一端声明和传入的?
Driver端
6.RDD在调用Transformation和Action时需要传入函数,请问传入的函数是在哪一端执行了函数的业务逻辑?
Executor中的Task执行的
7.自定义的分区器这个类是在哪一端实例化的?
Driver端
8.分区器中的getParitition方法在哪一端调用的呢?
Executor中的Task中调用的
9.Task是在哪一端生成的呢?
Driver端
10.DAG是在哪一端构建好的并被切分成一到多个State的
Driver端
11.DAG是哪个类完成的切分Stage的功能?
DAGScheduler
12.DAGScheduler将切分好的Stage以什么样的形式给TaskScheduler
TaskSet
标签:调用,创建,Driver,一端,Transformation,RDD,DAG,Spark,时机 来源: https://www.cnblogs.com/dali1314/p/14821271.html