如何编写Luigi工作流以将数据从MySQL加载到Redshift？

Luigi是否支持我执行整个流程？

流将是这样的：
将MySQL数据转储到S3,然后使用“复制”命令将数据移至Redshift.

我可以使用Luigi执行上述工作流程吗？

解决方法:

基本上,您可以在Luigi中使用python脚本执行任何操作,因为您可以在Luigi任务的run()方法中编写该python代码,这意味着实际上没有真正的限制.

有关更多信息,请参见Luigi文档,尤其是run()方法,以获取更多信息：http://luigi.readthedocs.org/en/stable/tasks.html#task-run

因此,剩下的问题是如何从python本身访问RedShift和MySQL,但这是一个单独的问题,对于我来说,寻找一个好的指南或教程是最佳选择.

标签：amazon-s3,amazon-redshift,luigi,mysql
来源： https://codeday.me/bug/20191119/2039402.html