大数据平台：丛集管理

• YARN
  YARN(Yet Another Resource Negotiator) 是 Hadoop 生态圈中的丛集管理系统，负责资源管理并具有高度扩展性，支援 Hive、Spark、Storm、Flink、TensorFlow 等运算框架。

当使用者向 YARN 送出了 MapReduce 作业，Resource Manager 中的 App Manager 会从 Node Manager 要求特定数量的 Container，随後将这些 Container 交由 App Master 来管理应并用於作业执行。
* Resource Manager
负责丛集的资源管理和资源分配，资源单位称为 Container，包含了记忆体、CPU、硬碟空间等资源分配。
* Scheduler
负责利用「调度演算法」来提升资源使用率。
* App Manager
负责接收使用者作业要求分配 Container 及管理 App Master。
* App Master
负责作业的实际执行，启动和监控 Container 运行，各种运算框架(Hive、Spark、Storm、Flink、TensorFlow )都会实作自己的 App Master。
* Node Manager
负责 Cantainer 管理及周期性的向 Resource Manager 提供所拥有的 Container 状态。

• Kubernetes
  K8S 提供了完整的丛集管理功能 ─ 容器布署、滚动更新(Rolling Update)、水平自动扩展(Horizontal Pod Autoscaler)、服务发现、附载平衡、效能监控、服务日志(Server log)、认证授权。
  • Master
    负责丛集调度管理。
    • API Server：提供 RESTful 回应用户请求。
    • etcd：键值(Key-value)资料库储存丛集资料及组态管理。
    • Scheduler：利用调度演算法优化作业分配。
    • Controller：负责丛集作业功能 ─ 服务发现、附载平衡、水平扩冲、故障转移、垃圾收集。
  • Worker
    负责节点管理。
    • Kubelet：负责与 Master 通讯以提供容器管理、容器镜像、运行状态。
    • Proxy：提供网路代理以提供附载平衡功能。
    • Container：负责容器模组支援 Docker 或 RKT 等容器运作。