python-Luigi直接将文件写入S3
作者:互联网
我正在使用Luigi创建数据管道,并且尝试将处理后的数据直接写入S3存储桶.我使用的代码是:
import luigi
from luigi.s3 import S3Target, S3Client
class myTask(luigi.Task):
def requires(self):
return otherTask()
def output(self):
client = S3Client('ACCESS_KEY', 'SECRET_KEY')
return S3Target('s3.amazonaws.com/mybucket/myfolder/myfile.tsv', client=client)
def run(self):
fo = self.output().open('w')
with self.input().open('r') as f:
data = dosomething_to_input(f)
fo.write(data)
fo.close()
运行脚本后,出现错误:
S3ResponseError: S3ResponseError: 405 Method Not Allowed
我们可以直接将文件写入S3存储桶吗?
解决方法:
问题解决了!
这是因为s3 buckt的格式.
正确的格式应为“ s3:// mybucket / myfile”
405错误是由boto无法识别存储区名称引起的.
还需要提及的是boto不能用’.’识别存储桶名称.是在Python 2.7.*中添加的,因此您必须使用有效的存储桶名称或在配置文件中进行更改.
标签:amazon-s3,luigi,python 来源: https://codeday.me/bug/20191118/2029927.html