大数据平台：资料仓储

  • Hive
    适用於 PB 等级大数据的储存，分析和查询，处李日志分析和用户行为模型训练。
    1. SQL 语法支援
      将查询语法转换为「抽象语法树(Abstract Syntax Tree, AST)」以及使用者自定义函式(User-Defined Function, UDF) 产生执行计画。
    2. 结构化资料模型
      透过 MetaStore 管理系统元资料，将实际资料储存於 HDFS，支援多种资料格式：TextFile、SequenceFile、ORCFile、Parquet 和 Avro。
    3. 资料运算模组
      支援 MapReduce、Spark。
  • Presto
    适用於 GB 到 TB 等级的资料量，在需要即时回应的资料查询场警，提升商业化服务。
    • 使芿基於「记忆池(Memory Pool)」的资料模型。
    • 系统架构：
      • Cordinator：负责语法解析产生执行计画，节点(Worker)管理及任务分发。
      • Worker：负责与 Hive 和 HDFS 互动，执行任务及实际运算。
    • SQL 查询优化，提高系统问定性和执行效率，支援不同资料来源的即时跨平台资料计算。

<<:  Day20 感谢祭

>>:  [day11]串接API实测-订单单笔查询API

【领域展开 09 式】挑选主题中的 Wake-up moment，应该先准备网站架构

ThemeForest 布景主题有 40,000 多个，琳琅满目 暨上篇文章【领域展开 08 式】 ...

[Day 30] 再访碰撞侦测与解析(二) - 初步碰撞解析

今天只有研究一些相关的文章与做法，并没进行实作，所以单纯的纪录一下 今日目标 角色移动不穿过其他物件...

Day 14 - 寻访其他组件

在开发Vue时，官方建议使用属性及事件对其他元件做处理，不过凡事总有例外的嘛~ 还是会有一些情境中会...

Chpater3 今天来学习画一棵树（IV）浅谈效能和演算法，以迭代取代递回吧！

昨天发完文後，觉得对於演算法还是心有不甘，便上网搜寻了一下，虽然没直接给到答案，间接的给了我一些大胆...

Day 20: Behavioral patterns - Interpreter

目的 取得一段讯息後，解析、转译成具有特定含义的讯息。 说明 简单来说，就是讯息的转换器。 当有分析...