其他分享
首页 > 其他分享> > 战斗民族开源 | ClickHouse万亿数据双中心的设计与实践

战斗民族开源 | ClickHouse万亿数据双中心的设计与实践

作者:互联网

战斗民族开源 | ClickHouse万亿数据双中心的设计与实践

赵群 大数据技术与架构

By 大数据技术与架构
场景描述:Clickhouse是一个用于联机分析处理(OLAP)的列式数据库管理系统。
传统数据库在数据大小比较小,索引大小适合内存,数据缓存命中率足够高的情形下能正常提供服务。但残酷的是,这种理想情形最终会随着业务的增长走到尽头,查询会变得越来越慢。你可能通过增加更多的内存,订购更快的磁盘等等来解决问题(纵向扩展),但这只是拖延解决本质问题。如果你的需求是解决怎样快速查询出结果,那么ClickHouse也许可以解决你的问题。
关键词:Clickhouse OLAP

大数据技术与架构之前分享过《OLAP》的文章,里面提到一个俄罗斯Yandex公司开源的轻量级数据库Clickhouse。这篇文章是来自百分点的赵群分享的关于基于clickhouse构建数据中心的经验。

场景与挑战

数据存储:

数据量:2000亿+/日
高峰:500WRow/s
延时:<30秒 熔断/限流
2地双中心 查询/分析透明访问

查询:

1TB常规查询<10s
1TB聚合查询(排序/分组)<5m

综上所述,业务场景:

期望OLAP引擎:

Clickhouse的2地双中心设计

战斗民族开源 | ClickHouse万亿数据双中心的设计与实践

Clickhouse磁盘的Raid选择:

Clickhouse的写入稳定性设计

战斗民族开源 | ClickHouse万亿数据双中心的设计与实践

Clickhouse的查询优化

战斗民族开源 | ClickHouse万亿数据双中心的设计与实践

其他参数优化:

战斗民族开源 | ClickHouse万亿数据双中心的设计与实践
战斗民族开源 | ClickHouse万亿数据双中心的设计与实践
战斗民族开源 | ClickHouse万亿数据双中心的设计与实践

标签:万亿,写入,OLAP,查询,开源,ClickHouse,数据,Clickhouse
来源: https://blog.51cto.com/15127517/2684395