kafka入門之broker 副本與ISR設計

2022-05-05 14:09:11 字數 552 閱讀 8133

kafka把分割槽的所有副本均勻地分配到所有broker上,並從這些副本中挑選乙個作為leader副本對外提供服務,而其他副本被稱為follower副本,只能被動地向leader副本請求資料,從而保持與leader副本的同步:

所謂isr,就是kafka集群動態維護的一組同步副本集合,每個topic分割槽都有自己的isr列表,isr中的所有副本都與leader保持同步狀態,而producer寫入的一條kafka 訊息只有被isr中的所有副本都接收到,才被視為「已提交」狀態,由此可見,若isr中有n個副本,那麼該分割槽最多可以忍受n-1個副本崩潰而不丟失已提交訊息。

1.follower副本同步:

follower副本只做一件事情:向leader副本請求資料。

如何界定同步:

0.9.0.0版本之前:落後訊息數+時間

0.9.0.0版本之後:由於慢以及程序卡殼導致的滯後--即follower副本落後leader副本的時間間隔,replica.lag.time.max.ms預設是10秒。如果乙個follower副本落後leader的時間持續性地超過了這個引數值,那麼該follower副本就是不同步的。

Kafka系列之broker配置

本文件的引數主要針對是kafka 0.10.0版本。對應kafka安裝目錄config server.properties檔案的配置 broker.id 每乙個kafka的broker都有乙個整數的標識。我們設定broker.id來標識它。預設這個整數是0。這個整數必須是在乙個集群中是唯一的,且必須...

kafka 詳細配置(broker)

以下是kafka broker 詳細配置的引數 預設值 描述 引數 預設值 描述 broker.id 1 每乙個boker都有乙個唯一的id作為它們的名字。當該伺服器的ip位址發生改變時,broker.id沒有變化,則不會影響consumers的訊息情況 port 9092 broker serve...

kafka單節點broker安裝

1.先安裝zookeeper 3.解壓到指定目錄 4.配置環境變數 5.配置server.properties kafka home config zookeeper zookeeper.connect 你的zookeeper位址 6.啟動 kafka server kafka server sta...