【Day 19】实作 - 透过 AWS 服务 Glue Job 调整 Partition 以及档案格式

昨天我们已经透过 AWS Glue Crawler 自动建立 VPC Log 资料表，并且我们也看到 AWS Glue Crawler 业已依据资料夹切立 Partition，那可能此 Partition 不符合你的架构规划，故我们可以透过 AWS Glue Job 来调整 Partition 分区结构以及将此格式转换成 Parquet 以加快查询速度。

那我们就开始吧 GOGO

步骤一、於 S3 Bucket 建立一个资料夹

首先我们要建立一个资料夹来存放转置成 Parquet 的 VPC Log，故我们於先前的 S3 Bucket Create folder (命名为：vpclog-converted-log )

步骤二、搜寻 AWS Glue，并点选 Job 後新增

步骤三、输入Job相关参数

Name：自行输入名称即可
IAM Role：选择先前建立的 Glue role 即可
注：务必要确认此 role 是否有权限可以存取到 vpclog-converted-log 这个资料夹喔，如果没有要记得至 IAM 新增权限或修改 policy
Type、Glue version 选择 Spark
This job runs：选择 A proposed script generated by AWS Glue
让 AWS Glue 依据我们设定自动产生程序码，并存放在下方路径
Job bookmark：选择 Enable，当启用後每次执行此 Job 会记住哪些先前已经处理过、哪些还没，仅会处理尚未处理过的资料

步骤四、选择资料来源

这边我们选择昨天创建的 vpc log 资料表，按 Next

步骤五、因为我们要进行 Parquet 以及 Schema 转换，这边我们选择 Change schema 按 Next

步骤六、这边是要设定处理完後的资料表要另外创一个资料表还是更新原资料表，我们选 Create tables in your data target 按 Next

步骤七、设定资料表结构

左侧为原始资料结构，右侧是修改完的资料结构
因为我们要自行设定 Partition，故我们将 Target 的 Partition_x 都移除後按 Next

步骤八、接着 AWS Glue 就会自动产生对应的程序码，我们只要在对程序码进行微调即可

首先我们需要在最前面汇入以下套件

from awsglue.dynamicframe import DynamicFrame
from pyspark.sql.functions import *

接着我们打算抓原始资料的 start 栏位来切出『年/月/日』的 Partition，故我们在这行程序码：
dropnullfields3 = DropNullFields.apply(frame = resolvechoice2, transformation_ctx = "dropnullfields3")
增加以下程序码：

dfdst = dropnullfields3.toDF()
dfdst = dfdst.withColumn("year",year(to_date(from_unixtime(dfdst.start))))
dfdst = dfdst.withColumn("month",month(to_date(from_unixtime(dfdst.start))))
dfdst = dfdst.withColumn("day",dayofmonth(to_date(from_unixtime(dfdst.start))))
resultFrame = DynamicFrame.fromDF(dfdst,glueContext,"result")

我们将此行程序码
datasink4 = …..
替换成以下程序码

datasink4 = glueContext.write_dynamic_frame.from_options(frame = resultFrame, connection_type = "s3", connection_options = {"path": "s3://<<桶子名称>> /<<存放VPC Log Parquet资料夹名称>> /","partitionKeys":["year","month","day","action"]}, format = "parquet", transformation_ctx = "datasink4")

调整如下所示：

接着执行 Run Job ~ 大概等一分钟就执行成功了

注意：
如果执行 AWS Glue Job 发生错误，可以看它的 Error 讯息是否为类似下方讯息
An error occurred while calling o138.pyWriteDynamicFrame. Failed to delete key: vpclog-converted-log/_temporary
那应该是 IAM role 没有授予适当权限，需要进行调整，下方为参考的 Policy ~