其他分享
首页 > 其他分享> > 084、Spark-RDD-依赖关系

084、Spark-RDD-依赖关系

作者:互联网

这里所谓的依赖关系,其实就是两个相邻RDD之间的关系
1、窄依赖表示每一个父(上游)RDD的Partition最多被子(下游)RDD的一个Partition使用,窄依赖我们形象的比喻为独生子女。
2、宽依赖表示同一个父(上游)RDD的Partition被多个子(下游)RDD的Partition依赖,会引起Shuffle,总结:宽依赖我们形象的比喻为多生。

标签:关系,依赖,上游,比喻,Partition,084,RDD,Spark
来源: https://www.cnblogs.com/data-world/p/15777872.html