首页 > 其他分享> > 089、Spark-RDD-检查点 089、Spark-RDD-检查点 2022-01-09 13:02:18 作者:互联网 所谓的检查点其实就是通过将RDD中间结果写入磁盘 由于血缘依赖过长会造成容错成本过高,这样就不如在中间阶段做检查点容错,如果检查点之后有节点出现问题,可以从检查点开始重做血缘,减少了开销。 对RDD进行checkpoint操作并不会马上被执行,必须执行Action操作才能触发。 缓存和检查点区别 标签:checkpoint,089,容错,RDD,检查点,血缘,Spark 来源: https://www.cnblogs.com/data-world/p/15780719.html