首页 > 其他分享> > 浪尖，请问如何确定hive分桶数？

浪尖，请问如何确定hive分桶数？

2021-03-18 19:54:18 作者：互联网

浪尖，请问如何确定hive分桶数？

浪尖浪尖聊大数据

浪尖，请问如何确定hive分桶数？
今日，有人在星球问了一个比较好的问题：浪尖，请问如何确定hive的分桶数呢？

关于这个问题，浪尖想写个文章，谈谈我自己的看法，当然也欢迎有经验的同学么留言。

顺便打个广告，更多优质文章和问题答疑及视频教程请点击原文链接，加入浪尖知识星球-Spark技术学院获取。

浪尖，请问如何确定hive分桶数？
需要了解hive的分区分桶及二者的区别

hive的分区和分桶

为啥要分桶？

首先要知道，Hive 分区提供了一种将hive表数据分成多个文件/目录的方法。但是，它只在少数情况下提供有效的效果，比如：

当分区数量有限时。

-且分区的大小相对相等。

然而，这基本是不可能。例如，根据国家/地区等地理位置对表格进行分区。那么会发现一些较大国家产生的分区会很大（例如：4-5个国家本身占总数据的70-80％）。小国家会产生小分区（世界上所有国家仍然可能只占总数据的20-30％）。因此，这时分区将不是理想的。为了解决过度分区的问题，Hive提供了分桶的概念。这是将表数据集分解为更易于管理的部分的另一种有效技术。

hive分桶的特点

分桶的基本原理是分桶列的hash_function%mod = bucketId。

可以看到前提是，我们要指定mod，也即是分桶的个数，其实该值也是运行的最大reduce个数。

分桶的特征如下：

hash_function取决于bucketing列的类型。
具有相同分段列的记录将始终存储在同一个桶中。
使用CLUSTERED BY将表分成桶。
通常，在表目录中，每个存储桶只是一个文件，并且存储桶编号是从1开始的。
可以先分区再分桶，也可以直接分桶。
此外，Bucketed表将创建几乎相等的分布式数据文件块（取决于分桶列是否离散）。

hive分桶的优势

与非分桶表相比，分桶表提供了高效采样。通过采样，我们可以尝试对一小部分数据进行查询，以便在原始数据集非常庞大时进行测试和调试。
由于数据文件是相同大小的部分，map-side join在分桶表上执行的速度比分区表块很多。在map-side join时，处理左侧表的map知道要匹配的右表中的行在相关的桶中，因此只需要检索该桶。
分桶表查询速度快于非分桶表。
Bucketing概念还提供了灵活性，可以使每个存储桶中的记录按一列或多列进行排序。这使得map-side join更加高效，因为每个存储桶的join变为高效的合并排序（merge-sort）。

hive分桶的缺点

指定bucketing并不能确保正确填充表。数据加载到存储桶需要由我们自己处理。

举个例子

创建分区分桶表

比如创建一个表，按照国家分区，州分桶，然后对城市进行升序排序


CREATE TABLE bucketed_user(
         firstname VARCHAR(64),
         lastname  VARCHAR(64),
         address   STRING,
         city     VARCHAR(64),
       state     VARCHAR(64),
         post      STRING,
         phone1    VARCHAR(64),
         phone2    STRING,
         email     STRING,
         web       STRING
         )
       COMMENT 'A bucketed sorted user table'
         PARTITIONED BY (country VARCHAR(64))
       CLUSTERED BY (state) SORTED BY (city) INTO 32 BUCKETS
         STORED AS SEQUENCEFILE;

插入数据

与分区表类似，我们不能直接使用LOAD DATA（LOCAL）INPATH命令加载数据到分桶表，而是需要使用INSERT OVERWRITE TABLE ... SELECT ... FROM子句来填充分桶表。为此，我们将在hive中创建一个临时表，其中包含该表中输入文件中的所有列，我们将复制到目标bucketed表中。

假设我们已经创建了temp_user临时表，下面是用于使用temp_user表填充分桶表的HiveQL。

要填充分桶表，我们需要设置属性hive.enforce.bucketing = true，以便Hive知道创建表定义中声明的桶数。


set hive.enforce.bucketing = true;

INSERT OVERWRITE TABLE bucketed_user PARTITION (country)
       SELECT  firstname ,
           lastname  ,
           address   ,
         city      ,
       state     ,
           post      ,
           phone1    ,
           phone2    ,
           email     ,
           web       ,
           country   
         FROM temp_user

注意：

属性hive.enforce.bucketing = true类似于分区中的hive.exec.dynamic.partition = true属性。通过设置此属性，我们将在将数据加载到hive表时启用动态分桶。

它会自动将reduce任务的数量设置为等于表定义中提到的桶数（例如，在我们的例子中为32），并自动从表定义中选择clustered by列。

如果我们不在Hive Session中设置此属性，我们必须手动将相同的信息在上面的INSERT ... SELECT语句结尾处传递给Hive，也即要运行的reduce任务的数量（例如在我们的例子中，通过set mapred.reduce.tasks = 32）和CLUSTER BY （state）还有SORT BY（city）子句。

完整的sql语句如下


set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.max.dynamic.partitions.pernode=1000;
set hive.enforce.bucketing = true;

DROP TABLE IF EXISTS bucketed_user;

CREATE TEMPORARY TABLE temp_user(
        firstname VARCHAR(64),
        lastname  VARCHAR(64),
        address   STRING,
        country   VARCHAR(64),
        city      VARCHAR(64),
        state     VARCHAR(64),
        post      STRING,
        phone1    VARCHAR(64),
        phone2    STRING,
        email     STRING,
        web       STRING
        )
        ROW FORMAT DELIMITED 
          FIELDS TERMINATED BY ','
          LINES TERMINATED BY '\n'
      STORED AS TEXTFILE;

LOAD DATA LOCAL INPATH '/home/user/user_table.txt' INTO TABLE temp_user;

CREATE TABLE bucketed_user(
        firstname VARCHAR(64),
        lastname  VARCHAR(64),
        address   STRING,
        city        VARCHAR(64),
      state     VARCHAR(64),
        post      STRING,
        phone1    VARCHAR(64),
        phone2    STRING,
        email     STRING,
        web       STRING
        )
      COMMENT 'A bucketed sorted user table'
        PARTITIONED BY (country VARCHAR(64))
      CLUSTERED BY (state) SORTED BY (city) INTO 32 BUCKETS
        STORED AS SEQUENCEFILE;

set hive.enforce.bucketing = true;
INSERT OVERWRITE TABLE bucketed_user PARTITION (country)
      SELECT  firstname ,
                  lastname  ,
                  address   ,
              city      ,
              state     ,
                  post      ,
                  phone1    ,
                  phone2    ,
                  email     ,
                  web       ,
                  country   
         FROM temp_user;

如何确定分桶数

分桶数的确定要结合和两点：

1，分桶的列基数要大，也即是该列去重后的值要大。

3，每个桶数据文件不能太小也不能太大。比如，如果block大小是256MB，那么使每个桶512 MB，是个不错的选择。

强调一下，为了正确的加载数据，需要将reduce数目和分桶数一样。设置方法如上。

标签：VARCHAR,STRING,分桶,浪尖,hive,64,user
来源： https://blog.51cto.com/15127544/2664727