DAY 5 Big Data 5Vs – Volume(容量) - RedShift

相较於资料湖，另一个更常见的大数据储存系统是 — 资料仓储。和资料湖一样，资料仓储也用来储存巨量资料，但一个明显的区别是，它是储存传统常见的结构化资料，像是表格、资料库。资料仓储的发展比资料湖更成熟，因为结构化资料是更容易被处理与分析的资料结构，它像是资料库的延伸，可以是来自一个或多个不同资料源的整合中央储存库；横跨更大的时间系统，将历史与当前资料储存在一起，提供不同价值的资讯。

AWS中的资料仓储分析服务是Amazon Redshift，它使用ANSI SQL查询资料并可搭配标准 JDBC 和 ODBC 驱动程序存取；其後可整合其他BI工具来产出动态报表或视觉化仪表板等。
Redshift全托管服务支持的资料量可达PB等级，不仅部属快且可扩展；它能够如此快速的查找巨量资料并执行复杂的SQL运算是因为底层引擎应用了机器学习、平行处理与直栏式储存*技术。

进入Redshift服务页面(目前没有繁体中文)可以看到当前丛集状态，类似Hadoop3的9870埠号作用。直接点选橘色「建立丛集」键，或是从左侧工具栏由丛集cluster分页进入建立页面。

依据使用需求选择对应的节点类型，预设带入的RA3类型是分离运算和储存节点，分开节点的好处是可以分开计价。要注意的是DS2类型在今年底(2021)将退役，已无法建立，在手册上都有其他替代类型建议，RA3在IOPS和低延迟*上都有更佳的表现。

建立节点时如果基本配置不使用预设值，记得先到config分页建立对应Subnet Group 再回来建立 cluster

备份与还原方面，Redshift在导入资料时会复制所有资料并持续备份到S3，所以它会持续备份并维护到至少三份资料 (原始资料和复本，以及S3 的备份)。丛集方面，Redshift预设会自动备份并保留一天，最长可设定为 35 天。

当丛集建立完成并导入资料後，可直接在左侧工具栏的编辑器分页下SQL，查询结果会直接出现在下方

值得一提的功能是工作负载管理(WLM, Workload Management)，它可以自动或手动定义要优先处理的查询，可以在不增加节点的条件下增加处理的查询量。

*直栏式储存 Columnar / Column-oriented
( https://zh.wikipedia.org/wiki/%E5%88%97%E5%BC%8F%E6%95%B0%E6%8D%AE%E5%BA%93 )
*RA3( https://aws.amazon.com/tw/blogs/apn/amazon-redshift-benchmarking-comparison-of-ra3-vs-ds2-instance-types/ )