详解资料仓库的实施步骤,实战全解!(1)

建立资料仓库是一个解决企业资料问题应用的过程,是企业资讯化发展到一定阶段必不可少的一步,也是发展资料化管理的重要基础。资料仓库的知识介绍书籍和文章不少,但是实际实施依据行业不同,企业核心需求不同,从技术到方法论各有不同。

如何实施资料仓库专案,本文先以传统行业的资料仓库切入,从整体上讲下资料仓库的实施方法论!

01 需求分析

需求分析是资料仓库专案最重要的一个环节,资料仓库说到底还是为了业务,支援业务。如果需求分析不准确,做了之後没人使用,上了业务觉得不好用,会直接影响业务/客户的使用效果,最终导致专案的失败。

为了避免最坏的情况,磨刀不误砍柴工,前期一定要重视需求的调研、挖掘和分析,并采用一些严谨科学的措施和方法去做需求分析。

在实际调研过程中分享几个经验:

(1) 尽可能与业务方/客户方一起分析需求,引导对方将专案所要实现的整体框架和业务细节部分描述清楚,最好的方式就是需求人员和设计人员基於原型来讨论,从而正确理解实际的业务需求。

(2) 必须真实地将资料仓库所能实现的目标和不容易解决的问题与协商清楚。这一个环节比较容易出现各种小问题:IT方急着上线,业务方对於专案还处於一知半解,甚至在推动的时候可能避重就轻,比如一期不满足的需求强行上线,长远来看专案会产生不少推诿,消磨的是对方的信任。

所以在需求讨论的基础上,需要理解业务工作流程,当然如果你已经具备了这个行业丰富的业务知识,那可以在需求调研的时候尽可能地让对方按照自己的思路去完成资料仓库系统的功能设计。

(3) 需求方群体的分类,BI专案最终的使用人群可以分为以下几类:资料查询者、报表查询者、企业决策者。

这三类人群的需求特点完全不一样,沟通的时候需要注意区分并深刻理解

(4) **需求调研的再完美,也避免不了需求变更。**现实是很多情况下需求是不确定的,业务方是提不出有价值的需求的,需求今天是A明天又变成B无法一步做到位的,这都很正常,作为专案实施者要做好心理预期。

一般情况下,业务方能够提供的都是需求的整体框架部分或者是实际需求的一部分内容,不能预见未来需要增加的需求,这也注定了资料仓库专案是一个不断回圈、反馈,使系统不断完善增长的过程。

不能规避风险但是可以减少风险,所以科学的调研尤为重要。以下是调研模板,当需求调研完成时,需要对采集结果进行分析、归纳、整理,最终形成完整的需求分析报告。
摘自《BI建设地图》

业务需求的实施目的就是真正理解企业决策者的战略性目标。

在理解建立商业智慧系统目标的基础上,建立有效的企业管理模式,制定出详细的企业资料仓库业务管理规范,设计出常用的ETL资料采集规范和工作流程,从而明确商业智慧系统的实施范围和目标。

为了提高企业的分析决策能力,可以利用当下的区域网技术和互联网技术实现企业对各种资讯的查询和分析,通过建立企业业务资料模型,分析商业智慧系统的系统架构、资料来源之间的差异、对资料质量的评估和各种资讯的处理方法,有效地提高企业商业智慧系统的分析和决策能力。

02 资料仓库的逻辑分析

资料仓库在逻辑上可以分成操作型资料库、资料仓库层、资料集市层、资料分析应用层和报表展示层,其架构如下图所示:

03 设计ODS系统

ODS 可以有两种形式:ODS 资料缓冲区和ODS统一资讯检视区。

① ODS资料缓冲区

ODS资料缓冲区是业务资料流动过程的第一个储存区,实现了资料仓库从各个业务系统的资料来源中将资料抽取出来,并且装载到ODS资料缓冲区的这一过程,从而实现统一的全域性的企业资料平台,为以後的资料抽取、清洗、转换过程打下坚实的基础。

对於资料的资料来源可以采用增量的方式进行抽取,对於经常变化更新的资料一般采用全量的方式进抽取。ODS资料缓冲区具有实时性的特徵,ODS系统将各个孤立的业务系统的生产运营资料整合起来,组成统一的、全域性的企业资料交换平台。

② ODS统一资讯检视区

ODS统一资讯检视区是指有选择地整合各类业务源资料,对资料进行抽取、清洗、转换操作,以资料主题域为资料整合的基础,对资料进行分类和组织,使使用者能够通过统一信心检视区获得跟某个主题域相关的实时性资料。各业务系统和ODS统一资讯检视区可以互相访问,可以生成具有实时性的操作性报表和查询某一主题的近期全部资讯。

③ ODS资料缓冲区和ODS统一资讯检视区的区别和共同点

ODS 资料缓冲区主要为业务源资料抽取到资料仓库中提供中间资料缓冲的功能,与ODS 统一资讯检视区最大的区别就是资料抽取、清洗、转换、载入的转换规则和资料储存的方式不同。

ODS统一资讯检视区是完全按照主题的方式进行资料储存,向用户提供快速的报表展示和资料实时查询的功能。而ODS资料缓冲区的ETL规则一般只进行简单的汇总、计算,或者从操作型资料库中直接抽取而中间不进行任何转化。ODS 统一资讯检视区的资料一般都是从ODS资料缓冲区中抽取过来的。

目前为止,我们讲述了需求分析、资料仓库的逻辑分析、设计ODS系统,三个部分,希望对大家有帮助~

未完待续,下次预告…
04 资料仓库建模
05 资料集市建模
06 资料来源分析
07 资料的获取与整合
08 资料应用和报表展现

本文由IT value研讨社、[帆软]https://www.finereport.com/tw/)商业智慧研究院共同创作。
欢迎按赞我的脸书 IT Value 研讨社,发现更多精彩内容 ?
偷偷告诉你,私讯脸书小编,关键词【数位化转型】,即可获取一份14个行业,240个转型案例的最全资料包?


<<:  iOS APP 开发 OC 第十八天,Wild Pointer 如何火化殭屍?如何将殭屍复活?

>>:  [REPORT] report rdl每页显示标题列

Day11 职训(机器学习与资料分析工程师培训班): Python程序设计, 建立Model+载入

上午:Python程序设计 早上学习function, *args, *kwargs, 全域变数 &...

Day 1 - 什麽是 HomeLab 及网路

网路,是我们生活圈不可缺少的一部分。 每天一早,不少人都会打开手机查看新的讯息、新闻或影片。 由此可...

Day 05: 物件及资料结构、边界

「物件将它们的资料隐藏在抽象层後方,然後将操纵这些资料的函式暴露在外。资料结构则将资料暴露在外,且...

Day15_附录A.控制项(A.12运作安全)

跳着写呀XD"~ 简单来说,就是维运罗(个人理解啦,也可能想错了)。 ▉A.12.1 运作...

【CSS】【Bootstrap】关於order

【前言】 本系列为个人前端学习之路的学习笔记,在过往的学习过程中累积了很多笔记,如今想藉着IT邦帮忙...