Hive中的ODS、 DWD、 DWS、 ADS 数仓分层
作者：互联网
1、数据仓库
我们常提的数仓（DataWarehouse），就是在我们已有的数据库（他是对数据的存储）的基础之上，增加了对数据的OLAP（On-Line Analytical Processing），支持复杂的数据分析操作，更侧重决策支持，提供直观易懂的查询结果，而数据库更着重的是事务处理。换句话讲，就是在数据库已经大量存在的情况下，进一步挖掘数据资源，它包括了一整套的ETL、调度、建模在内的完整理论体系。
一句话概括：
数据库面向事务处理任务；数据仓库中的数据是按照一定的主题域进行组织主题。
2、数据库和数仓区别：
| DW | 数据库 | |
| 用途 | 专门为数据分析设计的，涉及读取大量数据以了解数据之间的关系和趋势 | 用于捕获和存储数据 |
| 特性 | 数据仓库 | 事务数据库 |
| 适合的工作负载 | 分析、报告、大数据 | 事务处理 |
| 数据源 | 从多个来源收集和标准化的数据 | 从单个来源（例如事务系统）捕获的数据 |
| 数据捕获 | 批量写入操作通过按照预定的批处理计划执行 | 针对连续写入操作进行了优化，因为新数据能够最大程度地提高事务吞吐量 |
| 数据标准化 | 非标准化schema，例如星型Schema或雪花型schema | 高度标准化的静态schema |
| 数据存储 | 使用列式存储进行了优化，可实现轻松访问和高速查询性能 | 针对在单行型物理块中执行高吞吐量写入操作进行了优化 |
| 数据访问 | 为最小化I/O并最大化数据吞吐量进行了优化 | 大量小型读取操作 |
3、Hive中的数据分层
理论上一般分为三个层：ODS数据运营层、DW数据仓库层、ADS数据服务层。基于这个基础分层之上，再提交信息的层次，来满足不同的业务需求。
3.1数据运营层（ODS）:原始数据
ODS：Operation Data Store 数据准备区，也称为贴源层。数据仓库源头系统的数据表通常会原封不动的存储一份，这称为ODS层，是后续数据仓库加工数据的来源。
ODS层数据的来源方式：
1.业务库 : 经常会使用sqoop来抽取，例如每天定时抽取一次。
实时方面，可以考虑用canal监听mysql的binlog，实时接入即可。
2.埋点日志 : 日志一般以文件的形式保存，可以选择用flume定时同步
可以用spark streaming或者Flink来实时接入
3.kafka也OK
消息队列：即来自ActiveMQ、Kafka的数据等.
3.2数据仓库层（DW）：数据清洗
DW数据分层，由下到上为DWD，DWB，DWS。
1> DWD：data warehouse details 细节数据层，是业务层与数据仓库的隔离层。主要对ODS数据层做一些数据清洗和规范化的操作。
数据清洗：去除空值、脏数据、超过极限范围的
2> DWB：data warehouse base 数据基础层，存储的是客观数据，一般用作中间层，可以认为是大量指标的数据层。
3> DWS：data warehouse service 数据服务层，基于DWB上的基础数据，整合汇总成分析某一个主题域的服务数据层，一般是宽表。用于提供后续的业务查询，OLAP分析，数据分发等。
用户行为，轻度聚合
主要对ODS/DWD层数据做一些轻度的汇总。
3.3数据服务层/应用层（ADS）：出报表
ADS：applicationData Service应用数据服务，该层主要是提供数据产品和数据分析使用的数据，一般会存储在ES、mysql等系统中供线上系统使用。
我们通过说的报表数据，或者说那种大宽表，一般就放在这里。
标签：数据服务,数仓,存储,ADS,DWS,数据库,ODS,数据仓库,数据 来源： https://www.cnblogs.com/zyp0519/p/15353930.html