一、   背景

  客户现场的CDH6.x版本的集群执行一个大分区表时hiveserver2发生了内存溢出。下面针对该问题进行了复现并深入了解了hiveserver2内存加载使用原理；提出了解决此类问题的方案，具体内容如下。

二、HiveServer2内存溢出

2.1查看表文件个数

desc formatted yanyu.tmp

 

 

 

 

 

表文件数量为6522102

2.2 查看表文件信息

hadoop fs -ls warehouse/yanyu.db/tmp

 

 

 

 

分区为string 类型的time字段，分了2001个区。

2.3 查看某个分区下的文件个数为10000个

hadoop fs -ls warehouse/yanyu.db/tmp/time=45

 

2.4 执行select count(*) 是否内存溢出

 

 

 

 

 

 

 

可以看到Jvm内存使用明显增大，Hiveserver2内存溢出，进程挂掉了；查看HiveServer2状态标红。

 

 

 

详细日志如下

 

 

 

三、合并小文件以解决HiveServer2内存溢出 

3.1小文件合并

  将每个分区里的若干个小文件合并成一个文件，最终文件个数为分区数。

 合并流程如下:

3.1.1 创建表结构一致的临时表

 查看原始表信息

  desc formatted yanyu.tmp

 

 

 

 

 然后创建一个数据结构与原表完全一样的临时表用来存储数据。

  create table yanyu.tmp_bak like yanyu.tmp;

  查看表属性

   show create table yanyu.tmp_bak;

3.1.2 将原始数据导入到临时表

  配置合并小文件的参数

    SET hive.merge.mapfiles = true;

    SET hive.merge.mapredfiles = true;

    --输出时合并小文件大小为256M

    SET hive.merge.size.per.task = 256000000;

    --输出文件平均大小小于该值，则开启小文件合并

    SET hive.merge.smallfiles.avgsize = 134217728;

    SET hive.exec.compress.output = true;

    SET parquet.compression = snappy;

    SET hive.exec.dynamic.partition.mode = nonstrict;

    SET hive.exec.dynamic.partition = true;

   查询原表数据并使用insert overwrite 将原表数据插入到临时表中

    insert overwrite table yanyu.tmp_bak  partition(time) select * from yanyu.tmp;

   查看合并小文件后的表文件个数(2000个)：

   desc formatted yanyu.tmp_bak;

 

3.1.3 查看hdfs里原始表和合并后任意分区中文件数量

  查看合并后的文件数量：

  hadoop fs -ls warehouse/yanyu.db/tmp_bak/time=0

 

  对比查看原始表分区下的文件数量：

  hadoop fs -ls warehouse/yanyu.db/tmp/time=0

 

 

 

说明：小文件合并操作后原始表的分区下的大量小文件合并为一个文件。

3.1.4 压缩小文件进行合并后是否查看数据

•  查看原始文件数据，正常显示 

 

•  查看合并后的文件内容为乱码。

 

 

 

• 使用sql检查临时表数据是否和原表数据一致。

 

 

 

• 查看hdfs文件系统表格路径下文件个数是否与分区数一致。

hadoop fs -ls warehouse/yanyu.db/tmp_bak

 

 

 

 查看合并小文件后分区最大值为1999即有2000个分区（分区类型为string，以字符串排序）

3.1.5 删除原始表

  确认表数据一致后，删除原表，使用alert修改临时表名为原表名。

alter table yanyu.tmp_bak rename to yanyu.tmp

四、总结

  使用HiveServer2查询数据时，会将元数据都加载到内存中，如果一个表格的分区很大，每个分区中又有很多的小文件，就会导致将元数据加载到内存中时使用的内存比较大。因此，Cloudera公司推荐表格的分区数最好不要超过1000个；同时分区中的也不要存储过多的为小文件，要定期对数据进行治理以合并小文件。

  同时配置多个Hiveservr2实例并配置HiveServer2负责均衡，以实现Hiveserver2的高可用。并根据Connection的数据提升HiveServer2的内存大小。推荐值如下：

 

 

 

 

标签：tmp,文件,分区,yanyu,合并,HiveServer2,内存,溢出
来源： https://www.cnblogs.com/chhyan-dream/p/16226110.html