卡夫卡的藏书阁【Book29】- Kafka - MirroMaker 2

“I need solitude for my writing; not 'like a hermit' - that wouldn't be enough - but like a dead man.”
― Franz Kafka


MirrorMaker 也就是所谓的跨丛集资料镜射,通常有几种使用场景,像是灾害备援系统,将整个丛集复制放置於另外一个地方,如果遇到意外事件导致丛集失败,可以立刻将资料来源切换到备援系统,而这种跨丛集资料会遇到几个问题,延迟性的问题,丛集间的传输速率会因为网路间的距离跟网路传导次数而增加、成本的问题,因为无论是企业自建机房或是在云端上建构,频宽的成本都是十分惊人的,必须考虑到是否有必要性

除了 MirrorMaker 之外,也有 Uber 的 uReplicator,和 Confluent 的 Replicator,Uber当年在使用 MirroMaker 遇到了不少问题,随着他们业务增长、主题跟分区也逐渐增加,在消费者重新平衡的花费时间增加到过长,导致跟同步的资料堆积,需要花费很多时间去消耗,会导致目标丛集的消费者的消费延迟,另外就是新增主题有相当的困难性,因为新增主题会导致消费者的再平衡,从而导致刚刚的问题又再度发生,Uber 的 uReplicator 就是藉由 Apache 的 Helix 元件来解决这个问题

Confluent 的 Replicator 主要是用来解决丛集设定的问题,常常会发生修改本地丛集,却漏改目标丛集、区域丛集,还有就是管理多个丛集,通常管理一对一的丛集设定档就是相当困难的,因此 Replicator 可以透过 Kafka Connect 去帮忙管理设定档


<<:  【程序】铁人赛结赛心得 转生成恶役菜鸟工程师避免 Bad End 的 30 件事 - 30

>>:  DAY28 - 工程师一定会用到的GIT懒人包

Mikrotik RouterOS从入门到实战系列-Mikrotik入门第七课

DHCP 操作配置 ´DHCP-Client 设置 ´DHCP-Server 设置 ´DHCP O...

创作者的商业思维-笔记

出处来自FB畅哥-创作者的商业思维 主讲者:「商业思维学院」院长 Gipi 商业思维学院的缘起、现...

JavaScript入门 Day01_介绍

因为上一个自我挑战,我耍白痴,打完忘记按发表,所以只能再重新ㄌ呜呜 希望我这次不会再耍白痴了? 嘎油...

【第16天】训练模型-DenseNet201

摘要 DenseNet201 1.1 来源 1.2 架构 1.3 特性 训练过程 2.1 预训练模型...

Day20 AR抬头显示器(HUD)与一般的差异 你是5岁就抬头还是3岁才抬头的呢?

这期要介绍抬头显示器(HUD)的一些功能和种类,让我们马上开始。 抬头显示器可用於汽车上。它将讯息投...