其他分享
首页 > 其他分享> > spark-1-知识架构

spark-1-知识架构

作者:互联网

在这里插入图片描述

  1. 得知道数据在哪吧
  2. 多个节点,如何把任何分发到各个节点:任务划分调度
  3. 多个节点,一个节点出错,总不能全部重算,需要容错,容错又有横、纵2个维度。所以需要血缘 + 缓存
  4. 调优
  5. 要求HA、可监控
    为了解决以上问题,spark推出了rdd。

标签:架构,知识,分布式计算,容错,划分,调优,spark,节点
来源: https://blog.csdn.net/qq_34224565/article/details/121064058