【Day 04】 Data Analytics Pipeline 对应於 AWS 中的服务 ( 2 )

今天继续针对 Data Analytics Pipeline on AWS 中常见的 AWS 服务来做说明:
https://ithelp.ithome.com.tw/upload/images/20210918/201310734EgzPREnz5.png


Data Storage Services:

  • AWS S3 [1]
    它提供一个简单的 Web 服务界面,可存放需要的任意类型和任意数量的资料,这些操作可从任何位置随时执行;Amazon S3 也可以透过 UI 介面简单定义资料的存取权限设定,确保资料安全性以及设定生命周期,将资料的创造、抓取、保留、备份、到销毁的整个过程都能加以管理,并根据资料的存取频繁度或新旧,将资料搬移到合适的储存服务中,以大幅减省储存费用的支出。
  • AWS Redshift [2]
    Redshift 是一个完全托管的 PB 级的资料仓储服务,它底层是基於 PostgreSQL 建构的,当今天资料量与笔数非常庞大或是 SQL 的计算较复杂,适合使用 Redshift,因 Redshift 的储存以及运算都采用分散式,故查询速度以及储存量都较大较快。

Data Analytics & Visualization:

  • AWS Athena [3]
    是一个无服务器查询服务,因 Athena 是基於 Presto 之下,提供完整的标准 SQL 支援且能接受各种标准资料格式,当分析资料量不大、想快速产生报表且不想透过程序进行,Athena 则非常适合你。
    注:若分析量大时则可以使用 Redshift,Redshift 也可以透过 SQL 语法进行 Data Analytics。
  • AWS QuickSight [4]
    它是一个无服务器 BI 服务,可以轻松地建立和发布互动式仪表板,而它也是第一种依工作阶段计费定价的 BI 服务(仅当使用者存取仪表板或报表时才付费), 非常具成本利益。
  • Amazon OpenSearch Service (先前的名字为 Amazon Elasticsearch Service ) [5]
    OpenSearch 源自 Elasticsearch 7.10.2 和 Kibana 7.10.2,它是一种分布式开源搜索和分析服务,可以使用 AWS 管理控制台简单快速布建 OpenSearch Service 集群来快速蒐集和分析资料。

後续实作,我们也会透过这两天介绍的这些 AWS 服务建立出合适的 Data Analytics Pipeline,快速简单地蒐集处理资料以及进行视觉化分析


接着明天就会进入我们资料实作前戏-建置 WordPress on AWS 的部分罗! 我们明天见:)
如果有任何指点与建议,也欢迎留言交流,一起漫步在 Data on AWS 中。

参考&相关来源:
[1] AWS S3
https://aws.amazon.com/tw/s3/?nc=sn&loc=0
[2] AWS Redshift
https://aws.amazon.com/tw/redshift/?whats-new-cards.sort-by=item.additionalFields.postDateTime&whats-new-cards.sort-order=desc
[3] AWS Athena
https://aws.amazon.com/tw/athena/?whats-new-cards.sort-by=item.additionalFields.postDateTime&whats-new-cards.sort-order=desc
[4] AWS QuickSight
https://aws.amazon.com/tw/quicksight/?nc=sn&loc=0
[5] Amazon Elasticsearch Service
https://aws.amazon.com/tw/elasticsearch-service/


<<:  [Day 6] 非监督式学习 K-means 分群

>>:  Day 10 - TiFlash架构(下)

OpenStack Neutron 介绍 — OVN Plug-in 架构

本系列文章同步发布於笔者网站 上一篇讲述了 OVN Plug-in 在 OpenStack 中的参考...

Golang 测试

Golang 测试 转换一下心情,来尝试看看单元测试好了 在golang上要跑测试的话,可以考虑先试...

[VR 前後端交响曲Day27] Rails专案开发 - 编辑ticket (使用vuex状态管理)

前情提要: 前天我们完成了新增ticket,昨天也顺便介绍了v-if语法; 今天就延续着前两天的te...

Day 30 - 结语 — 首尾呼应&致谢

最後一篇来个首尾呼应,回答在 Day 01 问大家的七个关於 UI 元件的问题! 你知道 为什麽会...

Day30 - this&Object Prototypes Ch3 Objects - Review

Iteration forEach()、every()、some() 三者的差异在於:他们会对我们...