首页 > TAG信息列表 > mysqlSqlBuilder

sparksql结果快速到mysql(scala代码、airflow调度)

  经常会有这样的需求:在现有数仓表的基础上,写一些sql,然后生成hive表并同步到mysql。 次数多了,就像写一个工具完成这个工作 一:背景、功能、流程介绍 1.背景:     1.数仓使用hive存储,datax导数据、airflow调度    2.不知道怎么利用hive解析sql,拿到对应的schema,但是spark