离线电商数仓（四十九）之系统业务数据仓库（二十）数据导出与全流程调度

1 Sqoop导出脚本

1）编写Sqoop导出脚本

在/home/atguigu/bin目录下创建脚本hiveTomysql.sh

[atguigu@hadoop102 bin]$ vim hiveTomysql.sh

在脚本中填写如下内容

 

#!/bin/bash

hive_db_name=gmall
mysql_db_name=gmall_view

export_data() {
/opt/module/sqoop/bin/sqoop export \
--connect "jdbc:mysql://hadoop102:3306/${mysql_db_name}?useUnicode=true&characterEncoding=utf-8"  \
--username root \
--password 000000 \
--table $1 \
--num-mappers 1 \
--export-dir /warehouse/$hive_db_name/ads/$1 \
--input-fields-terminated-by "\t" \
--update-mode allowinsert \
--update-key $2 \
--input-null-string '\\N'    \
--input-null-non-string '\\N'
}

case $1 in
  "ads_uv_count")
     export_data "ads_uv_count" "dt"
;;
  "ads_user_action_convert_day") 
     export_data "ads_user_action_convert_day" "dt"
;;
  "ads_gmv_sum_day")
     export_data "ads_gmv_sum_day" "dt"
;;
  "ads_user_topic")
     export_data "ads_user_topic" "dt"
;;
   "all")
     export_data "ads_uv_count" "dt"
     export_data "ads_user_action_convert_day" "dt"
     export_data "ads_gmv_sum_day" "dt"
     export_data "ads_user_topic" "dt"
;;
esac

 

 关于导出update还是insert的问题

• --update-mode：

updateonly   只更新，无法插入新数据

        allowinsert   允许新增 

• --update-key：允许更新的情况下，指定哪些字段匹配视为同一条数据，进行更新而不增加。多个字段用逗号分隔。
• --input-null-string和--input-null-non-string：

分别表示，将字符串列和非字符串列的空串和“null”转义。

官网地址：http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html

Sqoop will by default import NULL values as string null.
 Hive is however using string \N to denote NULL values and therefore predicates dealing with NULL(like IS NULL) will not work correctly.
 You should append parameters --null-string and --null-non-string in case of import job or --input-null-string and --input-null-non-string in case of an export job if you wish to properly preserve NULL values. 
Because sqoop is using those parameters in generated code, you need to properly escape value \N to \\N:

Hive中的Null在底层是以“\N”来存储，而MySQL中的Null在底层就是Null，为了保证数据两端的一致性。在导出数据时采用--input-null-string和--input-null-non-string两个参数。导入数据时采用--null-string和--null-non-string。

3）执行Sqoop导出脚本

[atguigu@hadoop102 bin]$ chmod 777 hiveTomysql.sh

[atguigu@hadoop102 bin]$ hiveTomysql.sh all

4）在MySQL中查看结果

SELECT * FROM ads_uv_count;

SELECT * FROM ads_user_retention_day_rate;

SELECT * FROM ads_user_action_convert_day;

SELECT * FROM ads_gmv_sum_day;

SELECT * FROM ads_gmv_sum_province;

2 Azkaban安装

详见：尚硅谷大数据技术之Azkaban

3 会员主题指标获取的全调度流程

1）修改配置文件中时间，生成数据

[atguigu@hadoop102 db_log]$ java -jar gmall-mock-db.jar

2）编写Azkaban程序运行job

（1）import.job文件

type=command
do_date=${dt}
command=/home/atguigu/bin/sqoop_import.sh all ${do_date}

（2）ods.job文件

type=command
do_date=${dt}
dependencies=import
command=/home/atguigu/bin/hdfs_to_ods_db.sh ${do_date}

（3）dwd.job文件

type=command
do_date=${dt}
dependencies=ods
command=/home/atguigu/bin/ods_to_dwd_db.sh ${do_date}

（4）dws.job文件

 

type=command
do_date=${dt}
dependencies=dwd
command=/home/atguigu/bin/dwd_to_dws.sh ${do_date}

 

（5）dwt.job文件

 

type=command
do_date=${dt}
dependencies=dws
command=/home/atguigu/bin/dws_to_dwt.sh ${do_date}    

 

（6）ads.job文件

 

type=command
do_date=${dt}
dependencies=dwt
command=/home/atguigu/bin/ads_user_topic.sh ${do_date}

 

（7）export.job文件

 

type=command
dependencies=ads
do_date=${dt}
command=/home/atguigu/bin/hiveTomysql.sh ads_user_topic ${do_date}

 

（8）将以上6个文件压缩成user-topic-job.zip文件

3）创建Azkaban工程，并上传user-topic-job.zip文件。

4）在浏览器中输入https://hadoop102:8443，并在页面上创建工程执行gmv-job.zip任务。

5）等待大约20分钟，在MySQL中查看结果

 

select * from ads_user_topic;

 

标签：商数,do,ads,--,离线,数据仓库,dt,null,string
来源： https://www.cnblogs.com/qiu-hua/p/13598678.html