hive 频繁gc 参数配置

GC(Garbage Collecting)是JVM特有垃圾回收机制；

        在Hadoop集群应用程序运行时，如果堆内存设置小或者小文件太多，

        都会引发频繁的GC，浪费计算资源并导致任务执行时间长甚至失败；

        如果运算时发生GC的时间占40%以上，平台认为是不健康而且有优化空间，优化思路如下：

        1、MAP阶段GC时间40%以上，OPTS参数调整：

             mapreduce.map.cpu.vcores=$[目前值]*2

             mapreduce.map.memory.mb =$[目前值]*2

             mapreduce.map.java.opts=$[目前值] *2

        2、REDUCE阶段GC时间40%以上，OPTS参数调整：

             mapreduce.reduce.cpu.vcores=$[目前值]*2

             mapreduce.reduce.memory.mb=$[目前值]*2

             mapreduce.reduce.java.opts=$[目前值]*2

标签：vcores,map,40%,reduce,mapreduce,hive,GC,参数,gc
来源： https://blog.csdn.net/zhuiqiuuuu/article/details/118032061