DAY 26 Big Data 5Vs – Veracity(准确性) AGQ

延伸介绍昨天的架构：

如果要对Log做视觉化的分析监控，许多人第一个想到的或许就是ELK架构*。这三个字母分别是指Elasticsearch、Logstash 和Kibana 这三个开源软件，将这三个软件的套件集成可以组成一套对日志的视觉化分析架构。

而利用昨天所介绍的架构在AWS上也可以很快的李用这些无服务器服务建立出一个实用的视觉化分析架构，方便记忆来看，个人简称为AGQ架构。更完整一点的话是S3+AGQ架构：

ELK与AGQ架构的相似之处是都将资料流都是由三部分组成，每个阶段都有专门的套件负责：
资料蒐集Data collection：Logstash之於Glue
资料治理Data curation： Elasticsearch之於Athena
资料呈现Data Visualization： Kibana之於Quicksight

将原始资料储存於S3中，利用Glue的crawler建立data catalog做为资料骨干供Athena查询与建立报表使用，最後串接Amazon Quicksight将Athena的分析报表以视觉化的互动式图表或仪表板呈现出来。实作方式与昨天相同，唯一新增的就是在最後串接Quicksight的服务。(後续介绍)

AGQ架构作方便之处就是AWS几乎都帮使用者准备好环境，只需要於各服务中点选设定便完成了客制化分析架构！使用者几乎只需要带着资料来就可以做出视觉化分析。

将每个分析阶段解耦的好处不只是让每件事都能交由专业的负责，当使用者有原本就熟悉的软件时也可以在新的架构中串接该软件，就不用调整原先使用习惯的，比如说最後视觉化呈现可以改成PowerBI、FineReport或Tableau等时下流行的BI商业分析软件。但不管是实际执行的软件是甚麽，最重要的都是要在资料分析的最後阶段，展现资料分析出的价值。接下来介绍资料价值相关的服务。

*ELK( https://zh.wikipedia.org/wiki/Elasticsearch )