其他分享
首页 > 其他分享> > 数据仓库项目的整体框架分层

数据仓库项目的整体框架分层

作者:互联网

数据仓库项目的整体框架分层

数仓项目最主要的就是分层一般都会分为四层:
ODS层:操作数据(最原始的数据)层 —OD贴源层
DWD层:数仓明细层(将会原始数据明细化) —DWD明细层
DWS层:数仓汇总层(将明细表轻聚合成宽表) —DWS宽表层
ADS层: 应用服务层—(根据宽表层整理汇总上报领导决策)—ADS报表层
一:ODS 贴源层: 最贴近源数据点的一层
ODS 贴源层:flume/sqoop获取原始数据埋点日志,解析json,数据清洗,将数据表格化(数据的事件字段用map集合装),关联geohash地理位置维表id-mapping用户唯一标识两个字典.数据的集成和回补
二:DWD明细层各种各样的明细表
DWD明细层:会写出各种明细表,例如全局事件明细表,广告事件明细表,流量事件明细表,交互事件明细表.
三:DWS:宽表层:关联各种维表使得表变得很宽
DWS宽表层:会group by 各个字段的角度,例如:商品信息宽表,订单信息宽表,物流信息宽表,评论信息宽表
四:ADS:报表层:上报领导进行决策的表会轻聚合各种维表
流量多维报表,日新统计报表,日活统计报表,用户留存报表,用户活跃报表,广告概况报表,转化漏斗报表

北京小峻 发布了22 篇原创文章 · 获赞 8 · 访问量 461 私信 关注

标签:DWS,报表,框架,数据仓库,明细表,分层,DWD,表层,宽表
来源: https://blog.csdn.net/weixin_45896475/article/details/104194870