其他分享
首页 > 其他分享> > 089、Spark-RDD-检查点

089、Spark-RDD-检查点

作者:互联网

所谓的检查点其实就是通过将RDD中间结果写入磁盘
由于血缘依赖过长会造成容错成本过高,这样就不如在中间阶段做检查点容错,如果检查点之后有节点出现问题,可以从检查点开始重做血缘,减少了开销。
对RDD进行checkpoint操作并不会马上被执行,必须执行Action操作才能触发。

缓存和检查点区别

标签:checkpoint,089,容错,RDD,检查点,血缘,Spark
来源: https://www.cnblogs.com/data-world/p/15780719.html