Spark调优
作者:互联网
一、任务调参
1.1 spark.executor.memory
executor执行分配的内存大小
1.2 spark.executor.cores
executor执行分配的核数
1.3 spark.executor.instances
需要的executor个数,等同num-executors,可以使用 spark.dynamicAllocation.enabled
1.4 spark.executor.memoryOverhead="1024m'
这个参数表示每个executor配备的可使用的堆外内存大小。在调spark应用程序时可能经常会碰到OOM,然后错误日志中提示让提高这个参数指定的值的情况。这种情况其实多发生在有数据倾斜的情况,这个调整经常是治标不治本,解决倾斜是根本。默认情况是配置的executor内存容量的10%
1.5 spark.executor.extraJavaOptions
Jvm参数值
1.6 spark.dynamicAllocation.enabled
可以避免使用spark.executor.instances或num-executors,使用动态资源分配,动态分配可以使的 Spark 的应用在有后续积压的在等待的 task 时请求 executor,并且在空闲时释放这些 executor
标签:num,内存大小,instances,调优,executor,Spark,spark 来源: https://www.cnblogs.com/robots2/p/15719182.html