数据中台架构

包含基础设施、架构设计、资料采集(ETL)、主资料管理(MDM)、即时计算、资资料储存和作业排程等。

• 资料采集(ETL)
  外部资料被采集到资料平台，将资料或文件格式资讯上传，对资料进行即时处理的验证、清洁、转换和计算。
• 资料处理
  即时处理资料来源在计算"总体统计资料"过程中，可以将主资料系统提交一个资料，将全部主资料导入大数据平台上使用。
  对於串流资料来说，在处理原始资料时需要即时获取主资料，替代主资料系统提供服务。
  • 即时处理
    • 讯息伫列
      • 主资料管理(Master Data Management)
        • 主资料资料库
      • 串流处理(Stream Processing)
        • NoSQL
  • 批次处理
    • 作业排程
      • 文件系统
• 资料服务
  将处理後的资料提供给请求端，不同的资料型式适用於不同的资料应用。
  • 报表资料库：传统关联式资料库，提供BI报表工具(D3.js)或各种资料市集（Data Mart）供随时查询。
  • OLAP引擎：建立立方体（Cube）提供多维度资料模型(Multi-Dimensional Data Model)的即时查询。
  • Web API：透过Web API直接提供前端应用资料
• 资料视觉化
  一般应用场景一个是传统的BI报表工具，另一类网页(Web Page)或行动应用程序。
  • BI报表
    开发效率较高。
  • 网页应用、行动应用程序
    适合即时性较高的应用。