其他分享
首页 > 其他分享> > 《唯品会海量实时OLAP分析技术升级之路》 读后感

《唯品会海量实时OLAP分析技术升级之路》 读后感

作者:互联网

NW:       OLAP引擎、长迭代、mpp、 Presto   数据量增大可能带来的问题:
  1. 存储问题,数据的暴涨导现有系统无法承载
  2. 查询性能,大量数据的查询导致,所需的时间大大增加,以致于无法忍受。
  3. 在变更相关数据报表时,对历史数据的处理,需要耗费大量的时间。导致每次迭代开发,需要耗费较长的时间。
  一般情况下,数据仓库 和 OLAP分析库是需要拆分的? 适用于存储数据的方案,可能并不适用于分析。   BI工具需要解决的问题:
  1. 灵活性:数据发布后,用户可以进行先相关处理。而不是只能看,不能做。
  2. 门槛低:学习成本低,用户使用工具处理时,必须要能够快速的入手
  3. 开发周期短
  OLAP计算引擎选择条件:
  1. 没有预计算的模型
  2. 速度要足够快
  3. 支持横向扩展
    OLAP经过多次的升级,每次升级都是围绕着某1-2两个点的重点改进。每次改进都会强化数仓的能力,但是数仓的强化就会加大用户的使用,更多的使用将会暴露更多的问题。   唯品会OLAP的优化历程:            

标签:读后感,迭代,数仓,用户,唯品,OLAP,每次
来源: https://www.cnblogs.com/lt1548748657/p/11211851.html