大数据平台：讯息中介

讯息伫列(Message Queue)是大数据生态圈中不可或缺的中介软件，为资讯的生产者(Producer)及生产者(Consumer)间提供了高效的非同步资料传输功能，其中 Kafka 是目前较为主流的开源解决方案。

• 非同步处里实现：
  将业务流程提供的服务解藕，保障核心服务的可用性，提供了附载平衡及水平扩充能力。

• 资料聚合(Data Aggregation)：
  为系统纪录收集、网站纪录分析及系统效能监控提供了资料收集整合的便利性。

• 即时资料发送：
  为资料暂存籍资料索引提供即时的资料发送功能。

• 资料流架构：
  为资料即时处理、用户行为分析和机器学习模型更新等业务场景提供即时资料流。

• 资料仓储：
  为服务或节点资料及资料仓储之间建立资料传输及提供资料预处理功能。

• Kafka
  作为一个讯息中介软件有较高的可用性及扩展性。
  目前仍依赖 ZooKeeper 作为丛集管理，利用了 ZooKeeper 的选举机制来选举主节点，由主节点提供资料读写服务。
  讯息生产者(Producer)根据路由讯息将讯息发送给相关的代理(Broker)，讯息消费者(Consumer)根据相同的路由讯息从代理(Broker)取得讯息，目前仅提供拉取模式(Pull-based)。

  • 使用高效能的记忆体池(MemoryPool)架构提升了讯息持久性。
  • ZooKeeper 丛集管理提供了系统可用性的保障
  • 是 Hadoop 生态圈中常用的讯息中介软件