【Day 17】 实作 - 启用 AWS VPC 日志

哈罗大家好~ 美好的礼拜五终於到了.... 明後天就有更多时间可以赶铁人赛了哈哈
(呜呜抱佛脚活该的我)

这几天我们会实作 -『如何启用 VPC 日志以及汇入 BI 进行分析』，Data Analytics Pipeline 如下图所示：

我们会启用 VPC Flow Log，选取完後可以直接将 Log 资料储存至 S3 中，接着使用 AWS Glue Crawler、 Glue Job 自动建立资料表、分区以及转换格式(转成 parquet )，然後透过 Athena 查询并於 QuickSight 建立视觉化图表，那就 GOGO

步骤一、搜寻 VPC 服务

步骤二、点选主机所在的 VPC 後点选 Create Flow log

步骤三、设定 Flow Log 相关细节

• Name：输入 Flow Log 自定义名称
• Filter：筛选要储存的流量类型，选项 All 表示纪录已接受和已拒绝的流量
• Maximum aggregation interval：设定汇总至一个日志的最长期间，这边我选 10 分钟，表示约 10 分钟会产生Log 档案
• Destination：要传入哪个目的地，这边我们选择 S3 并输入先前建立的 S3 bucket
• Log record format：Log 纪录的栏位，这边我选择 default format
  若要使用自订格式，请选择 Custom format (自订格式)，然後就可以透过下拉式选取需要的栏位进行设定。
  设定完成後按 Create flow log
  

等候一段时间後，就可以看到我们的 VPC Log 日志档案啦~

这时候我们观察一下档案时间戳记会发现日志档案的确约 10 分钟会储存至指定的 S3 位置，接着我们观察到 VPC Log档案的副档名是 .gz 格式，gz 是一种压缩档案，我们试着把 Log 资料下载下来就会看到：此档为压缩档，并解压缩後打开此 Log 资料内容

那现在就问题来了：

VPC Log 原始资料为 gz 格式，我要怎麽让 Athena 查询并透过 QuickSight 建置仪表板?

故我们需要先确认 Athena 是否可以支援此格式的资料表建置及查询，我们检视索引[1]相关文件了解确认，Athena 有支援.gz 格式直接资料表建立以及查询 ~ 不用预先进行档案解压缩或转置

明天我们会继续实作 - 使用 AWS Glue Crawler 自动建立资料表让 Athena 可以透过 SQL 语法进行查询

明天见罗 : D ~

如果有任何指点与建议，也欢迎留言交流，一起漫步在 Data on AWS 中。

[1] Athena Compression Support
https://docs.aws.amazon.com/athena/latest/ug/compression-formats.html