其他分享
首页 > 其他分享> > 宽窄依赖影响的是什么?

宽窄依赖影响的是什么?

作者:互联网

影响的是stage。

A1 原因

因为stage的切割依据是RDD之间的宽窄依赖。

stage的切割规则:从后往前,遇到宽依赖就切割stage。

A2 图解


从图中可以看出

  1. stage中引入DAG(有向无环图,指定执行顺序ABCDEFG)
  2. A->B是宽依赖,F->G是宽依赖,stage的切割从A和F
  3. join有宽有窄
  4. stage中串并同存在

A3 问题

stage详解

标签:依赖,切割,宽窄,从图,ABCDEFG,影响,stage
来源: https://blog.csdn.net/Jin_Lemon/article/details/114628125