spark-1-知识架构
作者:互联网
- spark是用来进行分布式计算的,那分布式计算要解决那些问题呢?
- 得知道数据在哪吧
- 多个节点,如何把任何分发到各个节点:任务划分调度
- 多个节点,一个节点出错,总不能全部重算,需要容错,容错又有横、纵2个维度。所以需要血缘 + 缓存
- 调优
- 要求HA、可监控
为了解决以上问题,spark推出了rdd。
- 而spark是如何解决这些问题的,就是我们需要学习的。问题有以下这些:
1.任务划分调度
2.血缘
3.内存管理
4.调优
5.外加基础功能:通信、序列化、跟yarn交互 - 以上这些问题之外,还有一些零散的面试题:
1.spark为啥选择scala
2.spark为啥比mr快
3.spark宽窄依赖划分
标签:架构,知识,分布式计算,容错,划分,调优,spark,节点 来源: https://blog.csdn.net/qq_34224565/article/details/121064058