解决海量数据治理的线性扩展问题

查询性能：以2000万左右用户规模的无线通信网络为例：每秒约接入240万条事件，每天约产生14TB数据，数据保存若干天。遴选真题基于行业常用数据仓库查询耗时在10-15秒左右，与用户体验2/5/8秒要求存在较大差距；同时单个查询占用资源较多，多用户并发分析时，查询性能明显下降，以5用户查询为例，查询耗时劣化为30-60秒；

线性扩展：随着数据中心“云化”演进，数据集中化存储和管理趋势明显，支持省级、国家级超大规模网络交付场景明显，急需体系化的方法解决海量数据治理的线性扩展问题。http://lx.gongxuanwang.com/sszt/15.htm

考虑到业务数据是在时间和空间上持续增长，同时业务分析流程中，主要查询包括：行政区域/问题区域/无线小区簇查询。对数据查询特性进行分析：

但是它也有突变性，在每个 Z 字母的拐角，都有可能出现顺序的突变。H序相比较Z序解决了拐角的突变问题，H序聚簇特性比Z序提升15%左右，但是生成复杂度却提升很多，动态维护的代价会更高些。遴选真题另外，还有很多应用，需要不同维度实时分解的应用，H序拆分耗时会增加不少。综合考虑，当前使用简单易用的Z序编码：GeoSOT。http://lx.gongxuanwang.com/lxzt/lxbszt.html

标签：真题,海量,扩展,查询,耗时,线性,数据,lx
来源： https://blog.csdn.net/gxw998/article/details/121573955