DAY 3 Big Data 5Vs – Volume(容量) - S3

如同软件需要硬体,资料分析的基石就是资料储存。在处理的过程中,资料(data)需要在长期或暂时性的储存地之间转换才能顺利且有效得被处理。随着软硬体科技的进步,各种数据都能被记录下来;当数据量超过了既有基础建设所能承载,使用者就会遇到「容量」的问题。

AWS 服务中最广为人知的大概就是 Simple Storage Service(S3) 分散式云端储存服务。
S3可以存放无上限的资料量,单一物件上限5TB,每个物件有唯一的识别金钥。因为S3几乎甚麽档案都能存的特性,它很好的解决了许多应用场景,也是很多人上云的第一步,好比很多人在Google云端服务中最常使用Google云端硬碟。

使用前先认识基本元件帮助上手:
Buckets: 储存贮体,存放物件Objects的容器,可以做为存取控制单位也可以用来识别用量与传输费用。
Objects: 上传後的档案会是一个物件,物件由物件资料与中继资料组成,有唯一的识别金钥。
Keys: 每个物件有唯一的金钥可以定址。唯一的识别金钥由Bucket、金钥和版本 ID组成。
Versioning: 版本控制,有版本ID,可以还原档案。
Regions: 目前有25个区域*,选择靠近服务目标地可以减少延迟。

实作上传档案:

  1. 建立Bucket
    进入S3 服务首页,左侧是服务功能,主画面上方有显示的是S3整体的使用量与指标,以下是建立的所有bucket。S3首页显示该登入帐号之下全球范围的buckets,所属区域可以在名称栏位右方的”AWS区域”中确认。
    https://ithelp.ithome.com.tw/upload/images/20210915/201401611bpKj07H6o.png

欲建立Bucket可以点选於右侧的橘色”建立储存贮体”按键,即出现以下画面:
https://ithelp.ithome.com.tw/upload/images/20210915/20140161vqTTIYfGgI.png

依序选填:
Bucket名称
选定要建立的区域
预设封锁公开存储: 预设封锁,如果有下载需求可调整
版本控制: 预设停用,如果更新後会有还原需求得(例如网页)可以开启。
标签: 选用,但如果是有专案或权限等追踪需求可以加上。
加密: 预设停用,如果重要资料可使用 Amazon S3 受管金钥 (SSE-S3)於服务器端加密或可使用储存於AWS Key Management Service (AWS KMS) (SSE-KMS) 的 AWS KMS keys,但须注意後者会有额外成本。

以上基本设定完成即可建立bucket。

  1. 上传档案
    档案要进到bucket中再上传
    https://ithelp.ithome.com.tw/upload/images/20210915/201401613XsPORizZY.png

值得一提的功能是「生命周期管理」:
生命周期*是指档案存在在S3不同储存方案的周期,适当的安排可以更有效的做到成本控制。
在上传档案时可以选定要上到哪一种储存体,不同储存体有不同的对应方案。
https://ithelp.ithome.com.tw/upload/images/20210915/20140161PYrDPplKzy.png

回到bucket层,在bucket-level也可以在管理分页找到可以处理批量档案的”生命周期管理”
https://ithelp.ithome.com.tw/upload/images/20210915/20140161necEIuOjUp.png

*区域: ( https://aws.amazon.com/tw/about-aws/global-infrastructure/regions_az/?p=ngi&loc=2 )
*生命周期分层( https://docs.aws.amazon.com/zh_tw/AmazonS3/latest/userguide/lifecycle-transition-general-considerations.html )


<<:  【Day 2】机器学习的种类

>>:  Html基础介绍(DAY2)

[ 卡卡 DAY 19 ] - React Native 用 react-native-webview 实现 webview 跟 html render

在 App 需求中 若页面需要通过 URL 渲染远端 HTML 页面 若页面资料提供的是 html...

远程控制的方法

这是我摸Raspberry pi的第15天 每次都要接萤幕以及无线键盘与滑鼠 之前原本就想这样的模式...

焦虑与压力

前言 昨天分享了关於拒绝的两三事,是因为它容易出现在日常生活与团体协作当中,後续带来的影响也不容小觑...

Day3 建立React环境

这次来介绍两个方式在专案里设置使用React吧! 本系列文章使用的环境系统为 电脑系统:macOS ...

Spring boot 宣告 MongoDB Document

非常的简易透过 Spring boot 提供的注解我们可以轻松地宣告和使用 @Data @AllAr...