资料平台的建构从基础设施建设开始,配合业务需求,以大数据技术作为战略的基石。
基础设施
包括硬体资源(服务器,操作系统)及软件应用(DevOps、Docker、Kubernetes)的安装,在这之上建构一个大型的"资料库丛集"负责承载资料的存取和作业(Job)处理、并在考量资料安全问题的前提下考量云端平台在维运上的便利性、可伸缩性和成本控制上的可能带来的效益。
资料采撷:对"资料可视化"的支援
建设资料仓储以展开资料采撷工作,收存分布在各个业务系统里的资料,及必要的标准化处理。
这是一个长期迭代的过程,对资料的广泛需求和资料来源集成会带来可观的工作量,需要一个小规模但有管理大型专案经验的团队持续改善。
实时处理与机器学习:对"资料洞察与预测"的支援
资料服务
以业务领域为依据划分,以服务的方式提供其他系统资料接口(Restful、 Web Services、 FTP),从功能、效能和扩展性等技术维度上进行提升。
资料治理
持续对资料资产进行清晰的整理,建立配套的标准规范以及管理职责划分,同时要确保所有制定的规范和策略能够确实执行。
>>: [Day 3] Course 1_Foundation - Data Analytics 介绍
2019年世界上发生两个世界遗产的火灾,一个是法国巴黎的圣母院,一个是冲绳的首里城,两者建筑的修复难...
再来说样板template,样板只有参数型态不一样其余都相同(包括程序逻辑),样板基本上与写一般的函...
Media Query 我觉得已经讲到快烂掉了,搭配 Grid 说实在话也没有很不好做的地方。不过,...
来部落格看图文并茂文章 补觉鸣诗 时间回到我入行第二年 这时才算是正式的系统工程师并开机接触机房 最...
前言 前几天我们讲到的都是关於虚拟记忆体的资讯,包含VMA的结构,malloc() , mmap()...