【Day 21】 实作 - 启用 AWS CloudFront 日志

前几天我们已经将 AWS VPC 日志启用并将其资料转换让 BI 工具可以进行视觉化仪表板的建置，那 VPC 日志可能无法包含所有你想要分析的栏位，必须『蒐集多个资料源』并於 BI 工具透过 Join 方式合并多个资料源，以便进行更全面的视觉化分析以及机器学习。
所以接下来我们要来实作 -『如何启用 CloudFront 日志并於 BI 进行多资料源 Join 分析』，Data Analytics Pipeline 如下图所示：

大家应该会发现此 Pipeline 与 VPC 日志蒐集方式架构是十分类似的，
我们一样会启用 CloudFront Log，并将 Log 资料储存至 S3 中，接着使用 AWS Glue Crawler、 Glue Job 自动建立资料表、分区以及转换格式(转成 parquet )，然後透过 Athena 查询并於 QuickSight 建立视觉化图表，那其实大部分流程会跟 VPC 日志流程一样，所以这次我仅会着重实作『如何启用 CloudFront Log 』以及『如何在 BI 工具进行 Join 作业』，我们就开始吧 GOGO

步骤一、搜寻 CloudFront 服务

步骤二、选取网站对应的 CloudFront

步骤三、点选 Edit

步骤三、启用 Standard Logging，并储存到 S3 Bucket

等候一段时间後，就可以看到我们的 CloudFront Log 日志档案啦~

这时候我们观察到 CloudFront Log 档案的副档名是 .gz 格式，与 VPC Log 原始资料一样，故大家可以参考『Day 18』~『Day 19』文章将 CloudFront Log 转换成 Parquet 格式、调整 Partition 以及自动建立资料表

那今天就先这样，明天我们会讨论『如何在 BI 工具 – QuickSight 进行 Join 作业』，明天见罗 : D ~

如果有任何指点与建议，也欢迎留言交流，一起漫步在 Data on AWS 中。