HI 大家好~ 第一次参加铁人赛的活动(非常紧张)，先简单跟大家自我介绍，几年前我是在事务所当个会计人，现在在资讯产业当一枚菜鸟，至於为什麽想要参加铁人赛? 希望给自己转职後的一个纪录 - 好好整理转职的这一年内，自己努力研究了哪些技术以及服务等，也希望与大家一起分享讨论，文章若有任何疏漏或错误，还请各位前辈多多批评指教!

回归正题，这里明明是AI & Big Data的组别，为何我的主题要提到 Data on AWS 这个名词呢? 首先我先简单的介绍什麽是 AWS

Q：AWS ( Amazon Web Services ) 是什麽?

AWS ( Amazon Web Services ) 是一个云端服务供应商，云端服务供应商（如Google、Azure、AWS等）会在各个国家建很多个资料中心，让用户可以透过上网的方式租用它们IT资源(运算资源、储存资源、网路资源等)，且可以『按用量的方式计费』(就是用多少花多少)，避免用户多余的花费。
举一个例子：
今天有一家公司想要建置游戏服务器、供玩家连线玩游戏，若要购买相关的网路、运算以及储存设备，公司需要事前花费大量的时间去评估『上线後游戏玩家数量』、『後续游戏扩张及维护』、『设备耐用年限以及折旧摊提』等许多问题，而当实际购买後，若上线後玩家人数不如预期，又会造成投资设备费用的浪费，且後续仍需要支付人力成本去维护IT设备避免设备损坏。

故云端服务产业的诞生，让公司不须事前投入大量的时间评估、购买设备，只须透过网际网路便能向云端服务供应商租用相关IT资源，大大加快部署流程的进行，且云端服务供应商也会负责底层基础设备的维护以及实体机房相关监控，大大降低公司的维护成本。

那目前云端服务供应商（如Google、Azure、AWS等）除了提供运算资源、储存资源、网路资源等服务外，他们也致力於开发提供其他服务[1][2][3]，像是：影音服务(Media services)、容器化服务(Containers)、机器学习(Machine Learning)以及资料分析(data Analytics)等。

而我们这30天主要就是站在巨人的肩膀上 – 透过 AWS 轻松且快速地建置 Data Analytics Pipeline - 蒐集我们需要的资料并进行资料处理、视觉化分析等。

接下来29天，我们会讨论以下内容：
1. 介绍 Data Analytics Pipeline 流程以及对应常用的 AWS 服务
【Day 02】 何谓 Data Analytics Pipeline
【Day 03】 Data Analytics Pipeline 对应於 AWS 中的服务 ( 1 )
【Day 04】 Data Analytics Pipeline 对应於 AWS 中的服务 ( 2 )

2. 设置实作初始环境 - 於 AWS 上建置个人的 WordPress 网站
【Day 05】 实作 - 於 AWS 建置个人的 WordPress 网站

3. 实作 - 网站 Google Analytics 分析 on AWS
【Day 06】 实作 - 设定 Google Analytics 工具查看 WordPress 网站
【Day 07】 在 AWS 中打造出 Data Lake 以及 Data Warehouse
【Day 08】 实作 - 透过 AWS 服务 - AppFlow 把 Google Analytics 资料存放至 AWS 中 ( 1 )
【Day 09】 实作 - 透过 AWS 服务 - AppFlow 把 Google Analytics 资料存放至 AWS 中 ( 2 )
【Day 10】 讨论 Data Analytics Pipeline - Google Analytics on AWS (整体)
【Day 11】 实作 - 透过 AWS 服务 - Lambda 将 JSON 格式转换成 Parquet 格式
【Day 12】 实作 - 透过 AWS 服务 - Athena 建立以及查询资料表
【Day 13】 实作 - 透过 AWS 服务 - QuickSight 建立互动式仪表板 ( 1 )
【Day 14】 实作 - 透过 AWS 服务 - QuickSight 建立互动式仪表板 ( 2 )

4. 实作 - 资安攻击分析 on AWS
【Day 15】 为何要进行资安攻击的分析
【Day 16】 介绍 AWS 中资讯安全 - 流量相关日志
【Day 17】 实作 - 启用 AWS VPC 日志
【Day 18】 实作 - 透过 AWS 服务 Glue Crawler 自动建立 VPC Log 资料表
【Day 19】 实作 - 透过 AWS 服务 Glue Job 调整 Partition 以及档案格式
【Day 20】 实作 - 於 AWS Quicksight 建立 Sankey diagram 以及设定 Action
【Day 21】 实作 - 启用 AWS CloudFront 日志
【Day 22】 实作 - 如何在 AWS Quicksight Join 不同资料源
【Day 23】 AWS Kinesis - Data Streams vs Data Firehose 两者差异
【Day 24】 实作 - 创建 AWS Kinesis Data Firehose for WAF
【Day 25】 实作 - 启用 AWS WAF 日志
【Day 26】 实作 - 於 AWS QuickSight 建立 Parameters 以及 Filter 设定

5. 实作 - 服务器效能监控 on AWS
【Day 27】 为何要进行服务器效能监控
【Day 28】 服务器监控 on AWS
【Day 29】 实作 - 如何设定 AWS CloudWatch Alarms

6. 结语
【Day 30】实作 - 如何在 AWS Quicksight 设定告警以及结语

如果有任何指点与建议，也欢迎各位大神留言交流，一起漫步在 Data on AWS 中。

我们明天见：）

参考&相关来源：
[1] AWS 介绍 & 服务
https://aws.amazon.com/tw/what-is-aws/
https://aws.amazon.com/products/?nc1=h_ls
[2] Azure 介绍 & 服务
https://azure.microsoft.com/zh-tw/
[3] GCP 介绍 & 服务
https://cloud.google.com/