SPARK-SQL参数优化对应释义

参数优化
合理的参数调优，能有效的优化部分SQL性能。

set spark.sql.adaptive.skewedJoin.enabled=true; --开启自动处理 Join 时数据倾斜
set spark.sql.adaptive.skewedPartitionMaxSplits=20; --Join 时数据倾斜最大切分Partition数
set spark.sql.adaptive.skewedPartitionRowCountThreshold=10000000; --按行数开启自动处理 Join 时数据倾斜阈值，1千万行
set spark.sql.adaptive.skewedPartitionSizeThreshold=134217728; --按数据大小开启自动处理 Join 时数据倾斜阈值，128MB
set spark.sql.mergeSmallFileSize=134217728; --合并小文件阈值，小于128MB –
set spark.sql.adaptive.enabled=true; --开启动态设置 Shuffle Partition
set spark.sql.adaptive.shuffle.targetPostShuffleInputSize=134217728; --每个Reducer数据量超过该阈值的时候会被拆分成多个并行
set spark.sql.adaptive.join.enabled=true; --开启自动调整执行计划，需开启spark.sql.adaptive.enabled=true
set spark.sql.adaptiveBroadcastJoinThreshold=134217728; --开启自动BroadcastJoin阈值，小于128MB

标签：set,阈值,adaptive,--,SQL,释义,sql,spark,SPARK
来源： https://blog.csdn.net/qq_42384228/article/details/115720422