HIVE调优之MapJoin
作者:互联网
-
如果不指定MapJoin或者不符合MapJoin的条件,那么Hive解析器会将Join操作转换成Common Join,即:在Reduce阶段完成join。容易发生数据倾斜。可以用MapJoin把小表全部加载到内存在map端进行join,避免reducer处理
-
开启MapJoin参数设置
-
设置自动选择Mapjoin( 默认为false):set hive.auto.convert.join = true;
-
大表小表的阈值设置(默认25M一下认为是小表):set hive.mapjoin.smalltable.filesize=25000000;
-
-
标签:set,join,小表,HIVE,MapJoin,调优,hive,Join 来源: https://www.cnblogs.com/han-bigdata/p/15583939.html