DAY 18 Big Data 5Vs – Variety(速度) EMR (1)

Amazon Elastic MapReduce(EMR)是可以在EC2 instance 或 Amazon EKS cluster上执行Hadoop运算的托管服务(managed service)。可以做到分散式储存的Hadoop适合用来执行PB等级的大型/复杂分析运算，而AWS EMR则提供了方便的操作介面可以快速布建出Hadoop环境供使用者使用，节省了一步步安装Java再安装Hadoop，之後还要再设定master node 与 slave node 的网路环境与core-site等设定档。而且Hadoop丰富的生态系资源也可以在EMR上配置，像是前一个介绍的Glue所执行的Spark环境，也可以在EMR上安装。

而现在或许会有了新的疑问，那Glue 与 EMR应该要选用哪一个呢？
除了用资料量大小来做判断，也可以依照使用者对环境存取的需求来决定。Glue是无服务器服务所以底层环境是交由AWS来管理；EMR则让使用者可以直接存取低层的环境设定，也能更有弹性的使用 Spark 以外的分析工具。

进入服务介面可以直接点选「建立丛集」

或是左方工具栏可以找到丛集分页进入建立分页

建议可以先至S3按照使用需求建立对应的bucket方便之後上传资料与log查询
最基本环境上可以先建立四个bucket分别储存分析资料、分析指令、分析结果和log记录

启动模式下方丛集cluster与步骤执行step的差别是：
丛集会一直开着，而选用步骤执行，会在步骤跑完後将运算丛集停止

已进入生产阶段的话可以直接选用丛集，还再测试开发或是希望按需执行可以选用步骤执行

有不同步骤类型可以选择，步骤类型就相当於指定要执行的应用程序，注意，丛集中同一时间允许闲置或执行的步骤的上限为256 个步骤。

将准备好要执行的分析程序码上传至预先建立的bucket中，在这个步骤时方便选用

指定执行失败时的处理方式，建议测试开发时可以选用终止

最後选定执行的Role，可以选用预设自动建立，或是预先於IAM建立好拥有适当服务权限的Role(例如 S3)