其他分享
首页 > 其他分享> > 188 DAG的生成

188 DAG的生成

作者:互联网

DAG(Directed Acyclic Graph)叫做有向无环图,原始的RDD通过一系列的转换就就形成了DAG,根据RDD之间的依赖关系的不同将DAG划分成不同的Stage,对于窄依赖,partition的转换处理在Stage中完成计算。对于宽依赖,由于有Shuffle的存在,只能在parent RDD处理完成后,才能开始接下来的计算,因此宽依赖是划分Stage的依据。

在这里插入图片描述

 

标签:DAG,转换,生成,RDD,划分,依赖,188,Stage
来源: https://blog.51cto.com/u_15294985/2997570