数据中台(Data Middle Office)

过去我们可以透过建立资料仓储系统来统一储存和处理资料:

• 阶段一:
关联资料库与资料仓储,以及商业智慧(BI)和报表工具。
• 阶段二:
随着大数据技术的发展,资料平台有新的发展,特别是在即时资料处理和人工智慧方面的提升。
资料仓储整合了以大数据技术为基础的资料湖(Data Lake),更加倾向於"读时模式(Schema on Read)",而不是关联式资料库的"写时模式(Schema on Write)"进行资料处理。
• 阶段三:
以大数据技术为主流,像是Hadoop和Spark生态圈衍生的各种工具和技术场景,并根据自身情况搭配Elasticsearch、MongoDB、Cassandra等资料储存处理引擎。
具备人工智慧及机器学习的能力,它会收集资料相关知识,并供数据服务供业务应用使用。

数据中台

  • 水平扩张(Horizontal Scaling)能力
    在资料迅速膨胀的今天,具备计算水平扩张的能力是必要的,也是大数据平台的基础能力。
  • 多租户技术(Multi-Tenancy Technology)
    整合多通道整合的数据管理能力,并通过各种动态资源分配策略定义,协调各种作业之间的资源使用。
  • 即时资料处理
    通过即时处理将业务情况即时反馈给用户,极大地提升业务用户的用户体验,即时计算对於业务决策时效性的支援相当重要。
  • 业务决策时效
    过去需要夜间批次处理的业务需求(例如:用户的风险分析),可以即时计算回馈给业务系统,提高业务处理时效性。
  • 人工智慧及机器学习的资料分析能力
    资料分析能力,一般是由大数据平台上整合相关组件实现的(例如:Spark MLib),并具备演算法资料库自行扩充能力。
  • 资料仓储
    资料仓储是有效的资料管理方法,通过资料收集制度的治理,以提升企资料的质量。
  • 支援多种资料传输协定
    平台支援的资料协定方式越多,越能容易整合和对接各业务中心和资讯应用,降低企业成本。
  • 资料治理体系
    企业管理上应该成立相应的机构负责导入数据管理工具,根据预先定义的业务规则周期性的对验证当前数据,并给出资料质量报告。
  • 资料安全控制
    对敏感数据进行特殊处理,对资料的用户和读写权限有清晰的记录和追踪,对权限的建立和权限申请有完整的监管机制。

<<:  [Day8]Rare Easy Problem

>>:  【Day8】千算万算的运算子

菜鸡的机器学习入门

Day2 环境架设 前言 一般来说,蛮多人会用Jupyter notebook来进行Python的入...

为何要执行弱点评估

前几天我们说明了社交工程认知的一些基础 相较之下没提到什麽技术或工具 接下来将进入弱点评估和扫描.....

DE2_115(DAY1)以niosii去控制板子上的led灯

从学校拿到一块DE2_115,之前修DCLAB的时候只有接触Verilog的部分,现在想要学习板子上...

Day18. 一起动手做弹珠台!(4)

今天要来运用昨天我们前两天学到的滑鼠互动方式来为我们的弹珠台加上互动操作。 在弹珠台里,球碰到钉子就...

30天程序语言研究

今天是30天程序语言研究的第二十三天,由於资料库开发的部分我是负责前端所以想说顺便多练习一下其他开发...