其他分享
首页 > 其他分享> > kudu官网学习。

kudu官网学习。

作者:互联网

工作中用到了kudu。以前随便用用现在没事准备好好学习下。

https://kudu.apache.org/docs

1.指定分区

为什么要指定好分区呢?一般来说习惯将kudu与hbase进行比较。两者区别在哪里?

翻译:kudu目前没有办法对已经分好区的tablet在进行切分!!!

hbase存储数据实际时region,但是随着数据的不断增大,region还会水平切分,然后根据集群的负载会分布到不同的regionserver里。

kudu呢?kudu以hash分区=4为例,kudu会有4个tablet,然后数据根据主键进行hash后分不到不同的tablet,随着数据的增加 也不会再切分。

所以提前分好区是很重要的,特别是range分区。就好像hbase的rowkey设计一样。

2.kudu和impala什么关系

  简单理解 kudu是真正存储数据的数据库。

  impala只是个查询引擎,可以兼容hive kudu。

  如何做到kudu和impala关联的。两种办法。

  一种是通过kudu api 建立表a。 然后impala 建立外表b与之关联,我们再impala上对表b进行增删改查也是对kudu进行操作

CREATE EXTERNAL TABLE test.cc_test_kudu2 STORED AS KUDU
TBLPROPERTIES(
    'kudu.table_name' = 'test.cc_test_kudu',
    'kudu.master_addresses' = 'master.data.com:7051,node02.data.com:7051,node03.data.com:7051'
    )

 第二种是直接在impala上创建kudu表,此时是内表,一损俱损,一荣俱荣

CREATE TABLE my_first_table1

(

id BIGINT,

name STRING,

PRIMARY KEY(id)

)

PARTITION BY HASH PARTITIONS 16

STORED AS KUDU

  还有其他的创建方式就不举例了。官网啥都有

2.kudu和impala

 如果在impala上创建了一个内部的kudu表 也就是我们的说的第二种方式。那么要注意在kudu和impala是有点不一样的。

4注意关键词

 这几个关键词都是hive的 分区 文件位置,每一行分隔符

5.sql 优化

整段话说了啥意思?就是说kudu对于谓词也就是 = > 这些来说,kudu计算的,然后返回对应的结果,这种事比较好的。

但是如果是like和 != 这些事impala支持的,kudu会返回所有结果,然后由impala计算。

6 分区hash 还是range

如果是range分区,如果主键是单调递增的,那么最后一个分区会比其他分区都大,数据不均衡,而且这种数据很容易出现 批量对单独一个分区进行数据的插入,对tablet的压力也会较大。

那么就用hash分区么。

hash分区是很大程度上可以将数据均匀分布,但是会有另外一个问题,如果我要查where name like ‘cc%’ 有cc1 cc2 ...cc10但是他们hash不同,所以我有可能要去10个tablet里找数据。

总结下 range分区 插入性能差,但是查询性能好。

           hash分区  插入性能好,但是查询性能差。

有人可能会问了,都有好坏 那我用啥?看具体情况。而且还有一种,我两个都用不就好了?

 7 不同的分区策略

   这两个分区有啥区别,暂时未知。。。

8批量插入

批量插入有三种常用方式。都有自己的优势和劣势。

1.多个insert单条sql,优点:简单易于实现,缺点,效率低,因为与Kudu的插入性能相比,Impala的查询启动成本很高,高延迟和低吞吐

2.insert into table values(),()....()   默认是1024条。如果你想插入更多,需要set batch_size=10000

这种方式比第一种更高效,因为降低了impala的启动成本,但是对impala的memory要求会更高。

3.insert into table select * from table2这种方式经常是最好的,就是比较麻烦,需要建个中间表

通过java api插入的数据在impala上是可以实时查看的不需要refresh invalidate metadata。如果用impala使用hive的小伙伴应该都知道是啥意思。

9.upsert

insert 一个存在的主键不会报错。但是也不会改变。

但是upsert类似insert没有成功就upsert ,只有在impala上操作kudu表的时候才有upsert

10 delete

删除表,第一句很正常。第二句语法有点吊。 同样只能在impala上操作kudu的时候这么用

后面有时间会专门搞下impala的官网学习 

标签:hash,tablet,分区,学习,插入,kudu,官网,impala
来源: https://blog.csdn.net/cclovezbf/article/details/118108479