跃居AppStore第一！X-Engine如何支撑钉钉数据量激增

钉钉作为国内领先的企业IM工具，在中国有超过亿级别的用户。随着新型冠状病毒肺炎疫情的爆发，大量的企业员工选择了soho模式，企业办公协同工具的需求瞬间爆发。

钉钉作为中国企业办公IM的首选应用，不仅具有项目群、视频通话、视频会议、日报、打卡、远程投屏等基础能力，还具备深度、灵活订制各种 OA (Office Automation，办公室自动化) 应用的能力，极大方便了人与人之间的链接，可以帮助企业员工快速、高效地沟通和协作。

也因此，钉钉迅速冲上了AppStore下载免费榜单的第一位。瞬间爆发的在线办公需求，导致钉钉的访问流量激增。每天早晨的打卡风暴，迅速增长的聊天信息，一次次的流量洪峰冲击着钉钉的业务后台。但是借助于阿里云提供的弹性基础设施，钉钉平稳的渡过了每一次的流量洪峰。
在亿级别的用户体量下，钉钉的消息系统，除了要保证消息及时正确地传递，还要保证已读/未读等特有功能。而且不同于市场上常见的用户级IM工具，企业IM需要实现聊天记录的永久保存，并且提供多端漫游功能。
在用户量持续爆炸性增长的前提下，聊天记录永久保存给钉钉业务带来极大的成本压力。同时在数据爆炸的前提下保证聊天记录的读写性能不降低也是一个极大的挑战。
面对这些挑战，钉钉业务选用了X-Engine作为全量钉钉消息的最终存储引擎，实现了性能和成本的平衡。而且在此次企业协同办公需求爆发期间，钉钉业务的数据库系统顶住了所有的流量洪峰。

为什么是 X-Engine

在X-Engine诞生之前，钉钉采用的是InnoDB引擎。在用户爆发增长，面临存储的压力之后，钉钉考虑了多种候选方案，例如Hbase等nosql服务。但企业IM对数据一致性如事务等功能有比较苛刻的需求，同时业务类型的多样化，也对诸如二级索引等数据库的功能有比较强的依赖。

钉钉消息业务采用X-Engine之后，相同数据所需的磁盘空间比InnoDB引擎减少了62%，同时继续保留了对事务以及二级索引等数据库特性的支持。业务代码不做任何修改，即可以迁移到X-Engine集群上。

钉钉的聊天消息有着非常典型的时效性，即最近发送的消息会被经常访问，而历史的消息则很少被读取。X-Engine天然的冷热分离能力，确保了我们对最新的消息有着最高的处理能力，而对历史的消息有着最高的压缩比，这样的设计兼顾了性能和存储成本。

我们在著名的Link-Bench和阿里巴巴内部交易业务两个数据集上测试了X-Engine的存储空间效率。在测试中，对比开压缩的InnoDB引擎，X-Engine有着2倍空间优势，而对比未开压缩的InnoDB，X-Engine则有着3~5倍的优势。

X-Engine架构

在阐述为什么X-Engine可以节约这么多存储成本之前，我们先看看它的整体架构。

X-Engine采用了LSM-tree典型架构。在LSM-tree的数据组织下，写入的数据首先进入一个内存表中，对该部分数据的读写都是在内存中进行，因此访问最新的数据有着最高的效率。

在内存表的大小达到一定阈值之后，将会冻结进行转储，并持久化到磁盘上。X-Engine在磁盘上的数据也是分层的，随着时间的推移，compaction过程会根据数据的访问频度，将最冷的数据转移到LSM-tree的最底层并进行压缩。因此访问最少最冷的数据有着最长的访问路径，而温度稍高的数据访问路径更短。

数据分层的架构，让我们可以对不同的数据集采用不同的处理模型。例如对于新写入的数据，使用高度并发的事务流水线技术，这项技术可以提高极高的写入吞吐。而对于占整体数据量95%以上的底层数据，使用紧凑编码并进行压缩，以降低空间。而对于底层数据中散布的部分热点数据，则充分使用BlockCache和RowCache来加速读操作。

X-Engine如何有效降低成本

目前广泛使用的InnoDB引擎也是可以通过开启压缩来降低存储空间的，那为什么在钉钉IM的消息存储中，X-Engine有着更好的表现呢？因为X-Engine有以下几个独门秘籍：

标签：Engine,压缩,LSM,tree,AppStore,compaction,数据量,数据
来源： https://www.cnblogs.com/yunqishequ/p/12362095.html