spark 日常使用问题集合

1 . spark广播加入错误，即使spark.sql.autoBroadcastJoinThreshold=-1

任务设置spark.sql.autoBroadcastJoinThreshold=-1  但是在实际执行中设置未生效 即使我把它指定为-1，它也要尝试在做一个广播加入

设置spark.sql.adaptive.enabled=false

Spark的自适应查询执行在某些情况下会自动将连接类型切换为广播，即使没有通过连接阈值指定广播连接。默认情况下，spark.sql.adaptive.enables为true

标签：autoBroadcastJoinThreshold,连接,广播,日常,sql,集合,spark,adaptive
来源： https://www.cnblogs.com/luckyfruit/p/16653333.html