首页 > TAG信息列表 > 问题分析

记一次spark数据倾斜实践

数据倾斜概念什么是数据倾斜  大数据下大部分框架的处理原理都是参考mapreduce的思想：分而治之和移动计算，即提前将计算程序生成好然后发送到不同的节点起jvm进程执行任务，每个任务处理一小部分数据，最终将每个任务的处理结果汇总，完成一次计算。   如果在分配任务