其他分享
首页 > 其他分享> > |NO.Z.00044|——————————|BigDataEnd|——|Hadoop&PB级数仓.V02|---------------------------------------|PB数仓.v

|NO.Z.00044|——————————|BigDataEnd|——|Hadoop&PB级数仓.V02|---------------------------------------|PB数仓.v

作者:互联网



[BigDataHadoop:Hadoop&PB级数仓.V02]                                      [BigDataHadoop.PB级企业电商离线数仓][|章节一|Hadoop|核心交易分析:数据导入&需求分析|]








一、数据导入

## --- 数据导入架构说明

~~~     已经确定的事情:DataX、导出7张表的数据。
~~~     MySQL 导出:全量导出、增量导出(导出前一天的数据)。
~~~     业务数据保存在MySQL中,每日凌晨导入上一天的表数据。
~~~     表数据量少,采用全量方式导出MySQL
~~~     表数据量大,而且根据字段能区分出每天新增数据,采用增量方式导出MySQL
## --- 3张增量表:

~~~     订单表 yanqi_trade_orders
~~~     订单产品表 yanqi_order_produce
~~~     产品信息表 yanqi_product_info
## --- 4张全量表:

~~~     产品分类表 yanqi_product_category
~~~     商家店铺表 yanqi_shops
~~~     商家地域组织表 yanqi_shop_admin_org
~~~     支付方式表 yanqi_payment








===============================END===============================


Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart                                                                                                                                                   ——W.S.Landor



来自为知笔记(Wiz)

标签:---------------------------------------,V02,导出,yanqi,PB,导入,MySQL,数据
来源: https://www.cnblogs.com/yanqivip/p/16125883.html