DAY 13 Big Data 5Vs – Variety(速度) Glue(1) Crawler

轻巧有弹性的Lambda能解决转档、压缩等简单的处理运算，然而在AWS上如果要建立基本完整的ETL流程更适合的服务是AWS Glue。Glue是个无服务器的资料整合服务，它提供分散式的 ETL 运算，且设计有相较於直接编写程序码更直觉的视觉化编写介面让使用者可以有效率的将自己的处理逻辑转换成对应程序码来执行资料整合工作。

Glue的常见的处理流程大概是：
建立Crawler爬虫程序/编目程序来抓资料同时辨识资料格式，并替从资料源抓取下的资料建立记录metadata 中继资料的Data Catalog目录以利之後查询使用。这个流程可以随需执行，也可以将其自动化方便管理大规模的资料整合工作。

Glue的基本元件有：

Classifier：分类器，可以选用预设资料格式(Grok/XML/JSON/CSV)，功能是在爬取时判断档案是否是能处理的格式

Crawler：编目程序，可以带着分类器续爬取资料源，建立虚拟资料表，资料源的中继资料存在资料库
在左方工具栏找到Crawler分页後即可建立新的编目程序

设定资料源

在第三步指定要使用的分类器

如果有多个资料源选yes

可以在这部直接新增的Role，或是提前先建立好拥有适当权限的Role(可至AWS IAM预建立)

设定排程，测试的话就留着预设的on demand即可

设定存放目的地

最後可以检查所有的设定值後点选建立就完成