首页 > 其他分享> > |NO.Z.00044|——————————|BigDataEnd|——|Hadoop&PB级数仓.V02|---------------------------------------|PB数仓.v
|NO.Z.00044|——————————|BigDataEnd|——|Hadoop&PB级数仓.V02|---------------------------------------|PB数仓.v
作者:互联网
[BigDataHadoop:Hadoop&PB级数仓.V02] [BigDataHadoop.PB级企业电商离线数仓][|章节一|Hadoop|核心交易分析:数据导入&需求分析|]
一、数据导入
## --- 数据导入架构说明
~~~ 已经确定的事情:DataX、导出7张表的数据。
~~~ MySQL 导出:全量导出、增量导出(导出前一天的数据)。
~~~ 业务数据保存在MySQL中,每日凌晨导入上一天的表数据。
~~~ 表数据量少,采用全量方式导出MySQL
~~~ 表数据量大,而且根据字段能区分出每天新增数据,采用增量方式导出MySQL
## --- 3张增量表:
~~~ 订单表 yanqi_trade_orders
~~~ 订单产品表 yanqi_order_produce
~~~ 产品信息表 yanqi_product_info
## --- 4张全量表:
~~~ 产品分类表 yanqi_product_category
~~~ 商家店铺表 yanqi_shops
~~~ 商家地域组织表 yanqi_shop_admin_org
~~~ 支付方式表 yanqi_payment
===============================END===============================
Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart ——W.S.Landor
来自为知笔记(Wiz)
标签:---------------------------------------,V02,导出,yanqi,PB,导入,MySQL,数据 来源: https://www.cnblogs.com/yanqivip/p/16125883.html