其他分享
首页 > 其他分享> > Spark Persist与Cache

Spark Persist与Cache

作者:互联网

1.为什么要Cache / persist

由于spark中的RDD都是只读不可变的对象,也就是RDD的每一个transformation操作都会产生一个新的RDD。所以Spark任务中的一个优化原则就是避免创建重复的RDD而尽量复用同一个RDD。

当迭代使用到一个RDD的时候,我们不希望它重新从头trans一遍遍的计算,所以通过cache / persist的方法给他存到 内存/内&盘 中,下次使用,就直接拿出来就好了。

2.cache persist区别

cache调用了persist(),默认的persist就是MEMORY_ONLY,所以cache就是存在内存里头,而persist有12种,选吧你。

3.persist的时候用什么级别好?

针对占用内存不是很大的中间计算结果优先采用MEMORY_ONLY,它的性能最好(前提是内存要足够),也是RDD的默认策略。如果中间结果数据量稍大,可以采用MEMORY_ONLY_SER策略进行补充。

如果内存无法容纳中间数据,那么建议使用MEMORY_AND_DISK_SER策略,该策略会优先将数据缓存在内存中,只有当内存不够时才会把数据写入磁盘。另外对于分布式任务,IO资源往往比CPU资源更加紧张,序列化后的数据可以节省内存和磁盘的空间开销。

一般不用DIST_ONLY ,读起来慢的一匹,IO本来就很吃紧了,还添乱呢?

 

标签:cache,MEMORY,Cache,RDD,ONLY,内存,persist,Persist,Spark
来源: https://www.cnblogs.com/tillnight1996/p/12494117.html