大数据术语之ClickHouse
作者:互联网
Clickhouse
ClickHouse是俄罗斯的Yandex于2016年开源的列式存储数据库(DBMS),使用C++语言编写,主要用于在线分析处理查询(OLAP),
能够使用SQL查询实时生成分析数据报告。
特点:
1.列式存储
2.DBMS的功能
3.多样化引擎
4.高吞吐写入能力(顺序追加)
5.数据分区与线程级并行
6.单表数据处理能力强
数据类型
整型范围(-2n-1~2n-1-1):Int8 Int16 Int32 Int64
无符号整型范围(0~2n-1):UInt8 UInt16 UInt32 UInt64
浮点型:Float32 - float Float64 – double
布尔型: 可以使用 UInt8 类型,取值限制为0或1。
Decimal型:
有三种声明:
➢ Decimal32(s),相当于 Decimal(9-s,s),有效位数为 1~9
➢ Decimal64(s),相当于 Decimal(18-s,s),有效位数为 1~18
➢ Decimal128(s),相当于 Decimal(38-s,s),有效位数为 1~38
字符串: String
枚举类型:Enum8和Enum16类型
日期类型:
➢ Date 接受年-月-日的字符串比如 ‘022-01-12’
➢ Datetime 接受 年-月-日 时:分:秒的字符串比如 ‘022-01-12 20:50:10’
➢ Datetime64 接受 年-月-日 时:分:秒.亚秒 的字符串比如 ‘2022-01-12 20:50:10.66’
Array(T):由 T 类型元素组成的数组。
数据引擎
表引擎是 ClickHouse 的一大特色。可以说,表引擎决定了如何存储表的数据。包括:
➢ 数据的存储方式和位置,写到哪里以及从哪里读取数据。
➢ 支持哪些查询以及如何支持。
➢ 并发数据访问。
➢ 索引的使用(如果存在)。
➢ 是否可以执行多线程请求。
➢ 数据复制参数。
表引擎的使用方式就是必须显式在创建表时定义该表使用的引擎,以及引擎使用的相关参数。
TinyLog
以文件的形式保存在磁盘,不支持索引,没有并发控制,一般保存少量数据的小表,生产环境上作用有限。可以用于平时练习测试用。
create table t_tinylog ( id String, name String) engine=TinyLog;
Memory
内存引擎,数据以未压缩的原始形式直接保存在内存当中,服务器重启数据就会消失。读写操作不会相互阻塞,不支持索引。简单查询下有
非常非常高的性能表现(超过 10G/s)。一般用到它的地方不多,除了用来测试,就是在需要非常高的性能,同时数据量又不太大(上限大概 1 亿行)的场景。
MergeTree
ClickHouse 中最强大的表引擎当属 MergeTree(合并树)引擎及该系列(*MergeTree)中的其他引擎,支持索引和分区,地位可以相当于
innodb之于Mysql。而且基于MergeTree,还衍生除了很多小弟,也是非常有特色的引擎。
创建表语句:
create table t_order_mt(
id UInt32,
sku_id String,
total_amount Decimal(16,2),
create_time Datetime
) engine =MergeTree
partition by toYYYYMMDD(create_time)
primary key (id)
order by (id,sku_id);
ReplacingMergeTree(去重的功能)
ReplacingMergeTree 是 MergeTree 的一个变种,它存储特性完全继承 MergeTree,只是多了一个去重的功能。 尽管 MergeTree 可以设置主键,
但是 primary key 其实没有唯一约束的功能。如果你想处理掉重复的数据,可以借助这个 ReplacingMergeTree。
通过测试得到结论
1 实际上是使用 order by 字段作为唯一键
2 去重不能跨分区
3 只有合并才会进行去重
4 认定重复的数据保留,版本字段值最大的
5 如果版本字段相同则按插入顺序保留最后一笔
手动合并命令
OPTIMIZE TABLE t_order_rmt FINAL;
SummingMergeTree
对于不查询明细,只关心以维度进行汇总聚合结果的场景。如果只使用普通的MergeTree 的话,无论是存储空间的开销,
还是查询时临时聚合的开销都比较大。
ClickHouse 为了这种场景,提供了一种能够“预聚合”的引擎 SummingMergeTree。
案例演示
create table t_order_smt(
id UInt32,
sku_id String,
total_amount Decimal(16,2) ,
create_time Datetime
) engine =SummingMergeTree(total_amount)
partition by toYYYYMMDD(create_time)
primary key (id)
order by (id,sku_id);
insert into t_order_smt values
(101,'sku_001',1000.00,'2020-06-01 12:00:00'),
(102,'sku_002',2000.00,'2020-06-01 11:00:00'),
(102,'sku_004',2500.00,'2020-06-01 12:00:00'),
(102,'sku_002',2000.00,'2020-06-01 13:00:00'),
(102,'sku_002',12000.00,'2020-06-01 13:00:00'),
(102,'sku_002',600.00,'2020-06-02 12:00:00');
手动合并命令
OPTIMIZE TABLE t_order_smt FINAL;
通过结果可以得到以下结论:
1 以 SummingMergeTree()中指定的列作为汇总数据列;
2 可以填写多列必须数字列,如果不填,以所有非维度列且为数字列的字段为汇总数
据列;
3 以order by的列为准,作为维度列;
4 其他的列按插入顺序保留第一行;
5 不在一个分区的数据不会被聚合;
标签:sku,术语,00,order,引擎,MergeTree,数据,id,ClickHouse 来源: https://blog.csdn.net/qq_30003943/article/details/122447062