DAY 19 Big Data 5Vs – Variety(速度) EMR (2)

接续介绍昨天建立的EMR丛集：

建立的丛集可以在左方工具栏的丛集分页找到

步骤的状态可以到「步骤」分页查看，可以看到丛集会分两步骤：
先建立好Hadoop後再安装Spark程序後执行分析任务
Hadoop设定大约需要6-8分钟

因为建立时选用的是步骤执行，可以看到状态还是「待定」
然後会看到执行步骤会由下而上依序转换成「已完成」，然後就会丛集就会终止

Log记录会存到建立丛集时指定的S3 bucket中，点选後会转跳到对应页面
如果执行失败了也可以到log记录去看

EMR的服务页面可以当作Hadoop3的 9870 port来用，相当方便，
而分析处理完的结果也是到S3 对应的bucket中查询

当然因为批次执行大量档案的分析，档案是以压缩档储存(这里是parquet档)，
所以比起直接到S3察看EMR的ETL结果，更常见的架构是在EMR後串接像是Hive或Athena等查询工具来进一步分析资料

AWS上方便的查询工具就是Athena(後续会介绍)，
进入到Athena服务页面可以在左方选定资料源後在右方编辑器下SQL查询语句

*Hadoop( https://zh.wikipedia.org/wiki/Apache_Hadoop )