Kafka集群故障處理細節

2021-10-17 19:54:45 字數 743 閱讀 1521

leo:指的是每個副本最大的offset;

hw:指的是消費者能讀到的最大的offset,isr佇列中最小的leo。

hw:上圖消費者最多能讀到12,因為假如說leader掛掉了,那麼消費者讀到的話,肯定是讀整個集群中offset最小的那個.這個offset最小就意味著所有機器的offset肯定大於等於這個offset , 假如說a機器是 300offset,b機器是350offset ,c機器是400offset,那麼消費者能讀到的資料就是起始偏移量為300的資料.

leo就是每個副本最大的offset值.

follower發生故障後會被臨時踢出isr,待該follower恢復後,follower會讀取本地磁碟記錄的上次的hw,並將log檔案高於hw的部分擷取掉,從hw開始向leader進行同步。等該follower的leo大於等於該partition的hw,即follower追上leader之後,就可以重新加入isr了。

leader發生故障之後,會從isr中選出乙個新的leader,之後,為保證多個副本之間的資料一致性,其餘的follower會先將各自的log檔案高於hw的部分截掉,然後從新的leader同步資料。

注意:這只能保證副本之間的資料一致性,並不能保證資料不丟失或者不重複。

window集群故障處理1

平台 window server2016上的集群,由一組域控與兩個集群節點組成。故障 ip位址資源,集群位址被用占用,導致集群不可用。如下圖 群集ip位址資源 群集 ip 位址 無法聯機,因為已在網路上檢測到重複 ip 位址。請確保所有 ip 位址都是唯一的。原因查詢 通過檢視群集日誌發現,最初的報...

zookeeper集群部署 kafka集群部署

wget wget 解壓到目錄 tar zxvf apache zookeeper 3.5.8 bin.tar.gz c usr local 進入目錄 cd usr local 建立軟連線 ln s usr local apache zookeeper 3.5.8 zookeeper 複製配置檔案 ...

kafka 集群 測試

參考資料 wget 解壓tar xvzf kafka 2.11 0.10.0.1.tgz 移動mv kafka 2.11 0.10.0.1 usr local 修改配置 cd kafka 2.11 0.10.0.1 config mv server.properties server 1.prope...