首页 > TAG信息列表 > amazon-redshift

如何编写Luigi工作流以将数据从MySQL加载到Redshift？

Luigi是否支持我执行整个流程？ 流将是这样的： 将MySQL数据转储到S3,然后使用“复制”命令将数据移至Redshift. 我可以使用Luigi执行上述工作流程吗？解决方法:基本上,您可以在Luigi中使用python脚本执行任何操作,因为您可以在Luigi任务的run()方法中编写该python代码,这意味着实际上没

使用psycopg2和Lambda来更新Redshift(Python)

我试图使用python从Lambda函数更新Redshift.为此,我试图合并两个代码片段.当我单独运行它们时,两个片段都是有效的. >从PyDev for Eclipse更新Redshift import psycopg2 conn_string = "dbname='name' port='0000' user='name' password='pwd' host='url'&quo

将数据从Redshift复制到MySQL / PSQL

我试着寻找它但却找不到…… 将数据从Amazon Redshift复制到MySQL / PSQL数据库的最佳方法是什么？ 我所知道的唯一解决方案是将数据从Redshift复制到我的机器,然后将其移动到MySQL / PSQL,但这当然是I / O密集型且不可扩展. 任何人都可以建议更好的东西(可能是通过S3的东西)？解决方法

python – 在redshift UDF中导入用户定义的库

在这里,我试图在redshift中导入我的用户定义的python函数中的库 我创建了一个名为nltk的库,如下所示 [CREATE OR REPLACE LIBRARY nltk LANGUAGE plpythonu FROM 's3://nltk.zip' CREDENTIALS 'aws_access_key_id=*****;aws_secret_access_key=****';] 一旦创建,我试图在函数中导

python – 在Redshift查询中转义引号

我试图将我的代码重构为PEP8标准以便于阅读,但我正在努力逃避SQL查询中的引号. 我有2个查询.第一个是简单的SQL查询.第二个是Redshift UNLOAD命令. query = '''SELECT * FROM redshift_table LEFT JOIN (SELECT DISTINCT * FROM redshift_view) v

python – 优化：Amazon Redshift功能,用于检查夏令时是否有效

我写了这个连接到dateutil.tz的函数,请参考下面的代码： CREATE OR REPLACE FUNCTION schema_name.fnc_name(ts timestamp without time zone, timezone character varying) RETURNS boolean STABLE AS $$ from datetime import datetime from dateutil.tz import gettz tstz

python – 连接到redshift时出错：“服务器证书与主机名不匹配”

尝试在redshift上运行查询后,我收到以下错误消息： OperationalError: (psycopg2.OperationalError) server certificate for “” does not match host name “”. 我已经安装了sqlalchemy-redshift软件包以及Psycopg2软件包.我的代码： from sqlalchemy import create_engine