首页 > TAG信息列表 > amazon-s3

java-通过scala.sys.process API在spark-scala中执行外部命令s3-dist-cp

当我在unix shell / terminal中运行所有这3个命令时,它们都工作正常,返回退出状态为0 unix_shell> ls -la unix_shell> hadoop fs -ls /user/hadoop/temp unix_shell> s3-dist-cp --src ./abc.txt --dest s3://bucket/folder/ 现在我试图通过scala process api作为外部进程运行这

Python错误：内置函数或方法对象没有属性’StringIO’

我只想下载图片.然后将其上传到Amazon S3.但这不起作用. 'builtin_function_or_method' object has no attribute 'StringIO' Traceback (most recent call last): File "flickrDump.py", line 16, in <module> imgpath = s3.upload_thumbnail(thumbna

python-如何使用AWS S3策略为联盟用户强制执行资源所有权？

我正在编写一个有一组用户的应用程序,每个用户在S3存储桶中的“目录”中将有许多与之关联的文件.用户将使用Amazon的STS进行身份验证,获得临时安全凭证,该凭证应允许他们访问自己拥有的资源,同时不允许他们访问自己不拥有的资源(请考虑“主”目录). 假设用户已经存在于系统中(并且

python-是否可以直接从S3打开文件

我使用Amazon S3来存储我的资源,但是有时我发现有必要打开S3上存储的文件,以便对其进行一些操作. 是否有可能(建议)直接从S3打开文件,还是我应该坚持使用临时的“临时”文件夹？ 现在,我正在使用boto扩展与Amazon进行接口.解决方法:无法在S3上打开文件,您只能通过网络读取或添加/替换

Android：从AmazonS3下载文件时出现异常

在我尝试从Amazon S3下载图像文件的Android应用程序中,它给了我例外 这里是例外： 08-30 11:20:34.157: W/System.err(6519): android.os.NetworkOnMainThreadException 08-30 11:20:34.157: W/System.err(6519): at android.os.StrictMode$AndroidBlockGuardPolicy.onNetwork(Stric

Python-s3通过boto连接到“文件夹”

我正在尝试使用boto和python将文件上传到特定位置.我正在使用某种东西来达到此效果： from boto.s3.connection import S3Connection from boto.s3.key import Key conn = S3Connection(AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY) bucket = conn.get_bucket('the_bucket_name') f

如何在Java代码中使用S3DistCp

我想以语法方式将作业的输出从EMR集群复制到Amazon S3. 如何在Java代码中使用S3DistCp进行相同操作.解决方法:hadoop ToolRunner可以运行此程序..由于S3DistCP扩展了Tool 下面是用法示例： import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory;

AWS S3 PHP SDK 2将对象复制到另一个存储桶错误“错误请求” 400

我需要将对象从存储桶复制到另一个存储桶.我尝试使用以下代码： $response = $s3->copyObject( array( 'Bucket' => 'ORIGINAL BUCKET', 'Key' => 'OBJECT KEY', 'CopySource'

s3存储桶中的utf-8文件名

是否可以使用utf-8编码名称(例如“åøæ.jpg”)向s3添加密钥？ 使用boto上传时出现以下错误： <Error><Code>InvalidURI</Code><Message>Couldn't parse the specified URI.</Message> 解决方法:@ 2083：这是一个古老的问题,但是如果您还没有找到解决方案,那么对于像我这样来到这里的

javascript-网络摄像头js将图像上传到Amazon S3

我正在尝试上传使用拍摄的图像 Webcam js 直接到Amazon S3 var dataUri = Webcam.snap(); var raw = window.atob(dataUri.replace(/^data\:image\/\w+\;base64\,/, '')); 在我获得保单(正确)之后,我就这样做了 $.ajax({ type: 'POST', url: amazonUploadUrl,

Java通用事务管理

我正在开发一个将服务器存储在Amazon S3上的Java服务器.我需要使用S3进行事务管理,以便如果对外部服务器的操作失败,则必须回滚保存到S3的每个文件. 基本上就像对数据库的事务管理一样,只是在这种情况下,数据源是AWS S3,它也可能是文件系统. 我无法找到现有技术,并且想知道我是否只

android-AWS S3 Gradle依赖项行

有什么方法可以将AWS S3编译行添加到build.gradle以将jar文件加载到Android项目中吗？ 从亚马逊下载完整的zip包后,我可以将它们添加到libs文件夹中.但是我想用依赖来做到 我已经尝试过类似的方法,但是没有运气. dependencies { compile 'com.amazonaws:aws-android-sdk:+' }

linux-为什么我不能以所有者的身份写入encfs文件夹？

我想将s3fs挂载到AWS S3存储桶,使用encfs加密S3存储桶中的内容,并以ec2-user身份写入存储桶(例如,将文件复制到存储桶)(即,不使用sudo).我无法以ec2-user身份复制文件,因此必须使用sudo,但这不是可取的.谁能告诉我需要做什么,这样我才能不用sudo逃脱？ 已发出以下命令： # Create moun

php-从浏览器直接上传到S3(Amazon)和https麻烦

我创建了一个页面,用户可以从中上传文件.此代码段将这些文件发送到我的Amazon S3存储桶. <form action="https://BUCKET.s3-eu-west-1.amazonaws.com/" method="post" enctype="multipart/form-data"> <input type="hidden" name="awsAccessKey" v

php-Amazon将文件从S3移至Glacier throgh API

我正在使用Amazon S3和Glaciier开发用于文件存储的应用程序.要求是我想将文件从S3移到冰川,并在需要时将文件从冰川移回S3.我的问题是,使用PHP API是否真的可能？解决方法:您可以使用API​​定义将文件从Amazon S3归档到Amazon Glacier的生命周期规则,还可以使用API​​检索归档到Gla

java-上传后Amazon S3文件的可用性

我想在测试用例中上传文件,然后立即下载以确认文件已上传.我使用了已经升级到S3的密钥. 上传完成后,我进行了下载,但是以某种方式获得了该文件的先前版本. 我的代码如下所示： 最终的ObjectMetadata objectMetadata = new ObjectMetadata();         objectMetadata.setConte

如何编写Luigi工作流以将数据从MySQL加载到Redshift？

Luigi是否支持我执行整个流程？ 流将是这样的： 将MySQL数据转储到S3,然后使用“复制”命令将数据移至Redshift. 我可以使用Luigi执行上述工作流程吗？解决方法:基本上,您可以在Luigi中使用python脚本执行任何操作,因为您可以在Luigi任务的run()方法中编写该python代码,这意味着实际上没

在S3中检索对象用户元数据-AWS SDK V3 PHP

我正在从php sdk的S3存储桶中的对象中检索用户定义的元数据. 按照Editing Object Meta Data,用户元数据将与对象一起存储并随对象一起返回,并以“ x-amz-meta-”开头 我已经通过控制台在“ x-amz-meta-test”之类的对象上定义了用户元数据,既在上传时又在上传后(通过Web控制台,而不

python-Django存储AWS_QUERYSTRING_AUTH不起作用

我一直在尝试解决此问题,但到目前为止我还无法独自解决.关于不希望在S3 url中进行身份验证的问题的反向讨论,有几个不同的文章. 我在我的settings.py中使用带有以下内容的Django-Storages： AWS_STORAGE_BUCKET_NAME = 'testbucket' AWS_ACCESS_KEY_ID = 'xxxxx' AWS_SECRET_ACCES

相当于python boto用于Google存储

我正在寻找使用python脚本(.py)将文件上传到Google存储桶或从Google存储桶下载文件的最简单方法. 对于Amazon S3,有出色的软件包boto,Google存储是否有类似的东西？ 请注意,我尝试了以下代码： from boto import connect_gs gs_conn = connect_gs(gs_access_key_id='xxxxxxxxxx

在AWS Lambda上将ImageMagick作为python子进程运行

我希望通过从我的s3存储桶中给AWS lambda提供一系列图像来生成动画GIF,并将其下载到/ tmp /文件夹中. 我在文档中读到imagemagick预先安装在lambda上,但是由于某些原因,我无法通过python子进程调用它： import subprocess # ... some code later ... # Now, generate the gif in

php-AWS S3获得预签名URL时,“自变量必须是数组类型,给定对象”是数组

我不明白为什么这行不通,而且我搜寻了Internet并且找不到与我使用的特定命令匹配的任何内容. 我基本上是想从Amazon S3生成一个预签名的URL,我正在按照文档中的指示操作到T,但它不起作用.实际上不是到T,我正在对T进行操作.像这样的数组：[‘Key’=> ‘Value’] …我在这里看到另一个

使用Transferobserver Android为AWS对象设置权限

private void beginUpload(String filePath) { if (filePath == null) { Toast.makeText(this, "Could not find the filepath of the selected file", Toast.LENGTH_LONG).show(); return; } File file = new Fi

为何在AWS中未触发setTransferListener？

我正在尝试将照片从android上传到S3,并且我在S3网站上遵循的最新操作方法为tutorial,但似乎未触发TransferObserver.我所有的变量都是全局声明的.当我运行此代码时： credentialsProvider = new CognitoCachingCredentialsProvider( getAppl

python-Luigi直接将文件写入S3

我正在使用Luigi创建数据管道,并且尝试将处理后的数据直接写入S3存储桶.我使用的代码是： import luigi from luigi.s3 import S3Target, S3Client class myTask(luigi.Task): def requires(self): return otherTask() def output(self): client = S3Clien