AWS 13 Advanced S3 & Athena
作者：互联网
S3 MFA删除
•MFA（多因素认证）强制用户在设备上生成代码（通常是在S3上执行重要操作之前）
•要使用MFA Delete，请在S3存储桶上启用版本控制
•你需要MFA来
•永久删除对象版本
•暂停存储桶上的版本控制
•您不需要使用MFA
•启用版本控制
•列出已删除的版本
•只有存储桶所有者（根帐户）可以启用/禁用MFA删除
•当前只能使用CLI启用MFA删除
--------------------------------------------------------------------------------
S3默认加密与Bucket策略
•一种“强制加密”的方法是使用bucket策略并拒绝任何
用于放置不带加密头的S3对象的API调用：
•另一种方法是在S3中使用“默认加密”选项
•注意：Bucket策略在“默认加密”之前进行评估
--------------------------------------------------------------------------------
S3访问日志
•出于审计目的，您可能希望记录对S3的所有访问水桶
•从任何授权或授权账户向S3提出的任何请求拒绝，将登录到另一个S3存储桶
•可以使用数据分析工具分析数据…
•或亚马逊Athena，我们将在本节后面看到！
•日志格式如下：
https://docs.aws.amazon.com/AmazonS3/latest/dev/LogFormat.html
S3访问日志：警告
•不要将日志存储桶设置为受监控的存储桶
•它将创建一个日志循环，您的存储桶将以指数级增长
--------------------------------------------------------------------------------
S3复制（CRR和SRR）
•必须在源和目标中启用版本控制
•跨地区复制（CRR）
•同一地区复制（SRR）
•存储桶可以位于不同的帐户中
•复制是异步的
•必须向S3授予适当的IAM权限
•CRR——用例：法规遵从性、较低延迟访问、，跨帐户复制
•SRR–用例：日志聚合、实时复制在生产和测试帐户之间
S3复制–注意事项
•激活后，仅复制新对象（不追溯）
•对于删除操作：
•可以将删除标记从源复制到目标（可选设置）
•不复制具有版本ID的删除（以避免恶意删除）
•没有复制的“链接”
•如果bucket 1复制到bucket 2，而bucket 2复制到bucket 3
•那么在bucket 1中创建的对象不会复制到bucket 3
------------------------------------------------------------------------------------------------------
S3预签名URL
•可以使用SDK或CLI生成预签名URL
•用于下载（简单，可以使用CLI）
•对于上传（更难，必须使用SDK）
•默认值为3600秒时有效，可以更改超时时间--expires in
[TIME_BY_SECONDS]参数
•获得预签名URL的用户将继承用户的权限生成了GET/PUT的URL
•例如：
•仅允许登录用户在S3存储桶上下载高级视频
•通过动态生成URL，允许不断变化的用户列表下载文件
•允许用户暂时将文件上传到我们存储桶中的精确位置
------------------------------------------------------------------------------------------------------
S3存储类 ppt不一样
•亚马逊S3标准-通用
•亚马逊S3标准不频繁访问（IA）
•亚马逊S3一区不常访问
•亚马逊S3智能分层(Intelligent Tiering)
•亚马逊冰川(Amazon Glacier)
•亚马逊冰川深层档案
•Amazon S3减少冗余存储（已弃用-省略）
S3标准-通用
•跨越多个AZ的Object的高耐久性（99.99999999%） 11 9
•如果你用Amazon S3存储10000000个对象，你平均可以
预计每10000年损失一件物品
•它具有低延迟和高吞吐量 ,频繁访问的数据。
•特定年份99.99%的可用性， 每年大约53分钟 这个服务不可用
•维持2次并发设施故障
•用例：大数据分析、移动和游戏应用程序、内容分发…
S3标准-不频繁访问（IA）
•适用于访问频率较低但需要快速恢复的数据需要时访问
•跨越多个AZ的物体的高耐久性（99.99999999%）
•99.9%的可用性
•与Amazon S3标准相比，成本较低
•维持2次并发设施故障
•用例：作为灾难恢复的数据存储，备份…
S3一个区域-不频繁访问（IA）
•与IA相同，但数据存储在单个AZ中
•单个AZ中物品的高耐用性（99.99999999%）；AZ时数据丢失被摧毁了
•99.5%的可用性
•低延迟和高吞吐量性能
•支持传输数据时的SSL和静止时的加密
•与IA相比成本较低（20%）
•用例：存储本地数据的辅助备份副本，或存储可以重新创建的数据
S3智能分层
•与S3标准相同的低延迟和高吞吐量性能
•每月少量监控和自动分层费用
•根据不断变化的访问模式在两个访问层之间自动移动对象
•设计为99.99999999%的物体在多个可用区的耐久性
•对影响整个可用性区域的事件具有弹性
•针对特定年份99.9%的可用性而设计
亚马孙冰川 Amazon Glacier
•用于存档/备份的低成本对象存储
•数据保留时间较长（10年）
•可替代本地磁带存储
•平均年耐久性为99.99999999%
•每月存储成本（0.004美元/GB）+检索成本
•冰川中的每一项都被称为“档案”（高达40TB）
•档案存储在“保险库”中
亚马孙冰川与冰川深层档案 Amazon Glacier & Glacier Deep Archive
•亚马逊冰川——3种检索选项：
•加急（1至5分钟）
•标准（3至5小时）
•散装（5至12小时）
•最短储存期限为90天
•亚马逊冰川深层档案–用于长期存储–更便宜：
•标准（12小时）
•批量（48小时）
•最小存储时间为180天
S3–在存储类之间移动
•您可以转换对象存储类之间
•对于不常访问的对象，把它们移到标准_IA
•对于不需要的归档对象需要实时，冰川或深度档案
•移动的物体可以使用生命周期实现自动化配置
------------------------------------------------------------------------------------------------------
S3生命周期规则
•转换操作：它定义对象何时转换到另一个存储类
•创建60天后将对象移动到标准IA类
•6个月后转移到冰川进行归档
•过期操作：将对象配置为在一段时间后过期（删除）
•访问日志文件可设置为在365天后删除
•可用于删除文件的旧版本（如果启用了版本控制）
•可用于删除不完整的多部分上传
•可以为某个前缀创建规则（例如-s3://mybucket/mp3/*）
•可以为特定对象标签创建规则（部门名称：财务）
S3生命周期规则——场景1
•EC2上的应用程序在个人资料照片后创建图像缩略图上传到Amazon S3。这些缩略图可以很容易地重新创建，
只需要保存45天。源图像应该能够要在这45天内立即检索，然后最多可等待6小时。你会怎么设计这个？
•S3源映像可以是标准的，具有生命周期配置，45天后将它们转移到冰川。
•S3缩略图可以位于ONEZONE_IA上，并具有生命周期配置45天后过期（删除）。
S3生命周期规则–场景2
•贵公司的一条规定是，您应该能够恢复立即删除S3对象15天，尽管这种情况可能很少发生。
在此之后，最多365天，删除的对象应该可以恢复48小时内。
•为了获得对象版本，您需要启用S3版本控制，以便“删除的对象”实际上被“删除标记”隐藏，并且可以被删除恢复
•您可以将对象的这些“非当前版本”转换为S3_IA
•之后，您可以将这些“非当前版本”转换为深度档案
-----------------------------------------------------------------------------------------------
S3–基线性能
•Amazon S3自动扩展到高请求率，延迟100-200毫秒
•您的应用程序至少可以实现3500次放置/复制/发布/删除和桶中每个前缀每秒5500个GET/HEAD请求。
•桶中前缀的数量没有限制。
•示例（对象路径=>前缀）：
•bucket/folder1/sub1/file=>/folder1/sub1/
•bucket/folder1/sub2/file=>/folder1/sub2/
•bucket/1/file=>/1/
•bucket/2/file=>/2/
•如果在所有四个前缀上均匀分布读数，可以达到22000 GET和HEAD每秒的请求数
S3–KMS限制
•如果您使用SSE-KMS，您可能会受到影响受KMS限制
•上传时，它会调用GenerateDakey KMS API
•下载时，它会调用解密KMS API
•计入每秒公里数配额（5500、10000、30000请求/秒，基于地区）
•您可以使用服务配额控制台设置上限
S3性能
•多部分上传：
•建议用于大于100MB的文件，必须用于大于5GB的文件
•有助于并行上传（速度向上转移）
•S3传输加速度
•通过传输提高传输速度文件到AWS边缘位置，该位置将数据转发到中的S3存储桶目标区域
•与多部分上传兼容
S3性能–S3字节范围获取
•通过请求特定的字节范围
•在发生故障时具有更好的恢复能力
可以用来加速下载
只能用于检索部分数据（例如文件头）
-----------------------------------------------------------------------------------------------
S3 Select & Glacier Select
•通过执行服务器端筛选，使用SQL检索较少的数据
•可以按行和列进行筛选（简单的SQL语句）
•网络传输更少，客户端CPU成本更低
S3事件通知
•S3:ObjectCreated，S3:ObjectRemoved，
S3:ObjectRestore，S3:Replication…
•可能的对象名称筛选（*.jpg）
•用例：生成上传到S3的图像缩略图
•可以根据需要创建任意多个“S3事件”
sns、 sqs、 lambda、 function
•S3事件通知通常以秒为单位发送事件
但有时可能需要一分钟或更长时间
•如果对单个无版本对象进行两次写入同时，可能只有一个事件
将发送通知
•如果要确保发送事件通知对于每一次成功的写入，
您可以在上启用版本控制你的桶。
-----------------------------------------------------------------------------------------------
Amazon Athena 雅典娜
•无服务器查询服务，对S3对象执行分析
•使用标准SQL语言查询文件
•支持CSV、JSON、ORC、Avro和Parquet（基于Presto）
•价格：每TB扫描数据5.00美元
•使用压缩或列式数据以节省成本（减少扫描）
•用例：商业智能/分析/报告、分析&查询VPC流量日志、ELB日志、CloudTrail路径等。。。
•考试提示：使用无服务器SQL分析S3中的数据，使用Athena
-----------------------------------------------------------------------------------------------
标签：13,删除,访问,S3,bucket,AWS,存储,对象 来源： https://www.cnblogs.com/ives-xu/p/16133454.html