其他分享
首页 > 其他分享> > Spark中RDD的宽窄依赖和各自的特点。

Spark中RDD的宽窄依赖和各自的特点。

作者:互联网

窄依赖

      父RDD和子RDD partition之间的关系是一对一。或者父RDD一个partition只对应一个子RDD的partition情况下的父RDD和子RDD partition关系是多对一。不会有shuffle的产生。

宽依赖

      父RDD与子RDD partition之间的关系是一对多。会有shuffle的产生。

标签:关系,依赖,shuffle,宽窄,partition,RDD,和子,Spark
来源: https://blog.csdn.net/qq_36770189/article/details/97130628