HiveQL调优
作者:互联网
- group by会进行一次map reduce,因此不要group by和distinct一起写。会很浪费时间。
- hive工场运行的时候,可以看到map reduce了多少个stage,如果十几个了说明性能写的有问题
子查询:
http://dp.pt.xiaomi.com/task/21674302 没有用自查询,run了一天也没有结果,被工场分给很少的资源
http://dp.pt.xiaomi.com/task/21710277 20分钟run出结果
select * from t1,t2 这种形式再HiveQL中是可取的。
标签:map,run,pt,HiveQL,reduce,调优,group 来源: https://blog.csdn.net/weixin_43852674/article/details/98220126