其他分享
首页 > 其他分享> > 战斗民族开源 | ClickHouse万亿数据双中心的设计与实践

战斗民族开源 | ClickHouse万亿数据双中心的设计与实践

作者:互联网

来源:百分点分享 作者:赵群/大数据技术与架构整理 点击右侧关注,大数据开发领域最强公众号! 点击右侧关注,暴走大数据!


By  大数据技术与架构

场景描述: Clickhouse是一个用于联机分析处理(OLAP)的列式数据库管理系统。

传统数据库在数据大小比较小,索引大小适合内存,数据缓存命中率足够高的情形下能正常提供服务。但残酷的是,这种理想情形最终会随着业务的增长走到尽头,查询会变得越来越慢。你可能通过增加更多的内存,订购更快的磁盘等等来解决问题(纵向扩展),但这只是拖延解决本质问题。如果你的需求是解决怎样快速查询出结果,那么ClickHouse也许可以解决你的问题。

关键词:Clickhouse OLAP

 

场景与挑战

数据存储:

数据量:2000亿+/日 

高峰:500WRow/s

延时:<30秒 熔断/限流 

2地双中心 查询/分析透明访问

查询:

1TB常规查询<10s  

1TB聚合查询(排序/分组)<5m 

综上所述,业务场景:


期望OLAP引擎:

640?wx_fmt=png

640?wx_fmt=png

 

Clickhouse的2地双中心设计

640?wx_fmt=png


Clickhouse磁盘的Raid选择:

640?wx_fmt=png

640?wx_fmt=png

    相关测试分析表明: 

 

Clickhouse的写入稳定性设计

640?wx_fmt=png

640?wx_fmt=png

 

Clickhouse的查询优化

640?wx_fmt=png

其他参数优化: 640?wx_fmt=png 640?wx_fmt=png

640?wx_fmt=png

欢迎点赞+收藏+转发朋友圈素质三连

640?wx_fmt=jpeg640?wx_fmt=jpeg

文章不错?点个【在看】吧! ?

标签:万亿,写入,OLAP,查询,开源,ClickHouse,数据,Clickhouse
来源: https://blog.51cto.com/u_9928699/2898098