《大資料 ZooKeeper 資料同步流程》

2021-10-11 09:13:03 字數 561 閱讀 4143

在 zookeeper 中,主要依賴 zab 協議來實現分布式資料一致性。

zab 協議分為兩部分:

zookeeper 使用單一的主程序 leader 來接收和處理客戶端所有事務請求,並採用 zab 協議的原子廣播協議,將事務請求以 proposal 提議廣播到所有 follower 節點,當集群中有過半的follower 伺服器進行正確的 ack 反饋,那麼leader就會再次向所有的 follower 伺服器傳送commit 訊息,將此次提案進行提交。這個過程可以簡稱為 2pc 事務提交,整個流程可以參考下圖,注意 observer 節點只負責同步 leader 資料,不參與 2pc 資料同步過程。

在正常情況訊息廣播情況下能執行良好,但是一旦 leader 伺服器出現崩潰,或者由於網路原理導致 leader 伺服器失去了與過半 follower 的通訊,那麼就會進入崩潰恢復模式,需要選舉出乙個新的 leader 伺服器。在這個過程中可能會出現兩種資料不一致性的隱患,需要 zab 協議的特性進行避免。<

大資料ZooKeeper快速入門

zookeeper是乙個分布式的,開放原始碼的分布式應用程式協調服務,是google的chubby乙個開源的實現,是hadoop和hbase的重要元件。它是乙個為分布式應用提供一致性服務的軟體,提供的功能包括 配置維護 網域名稱服務 分布式同步 組服務等。zookeeper的目標就是封裝好複雜易出錯...

大資料 zookeeper 安裝和配置

zookeeper是乙個分布式的,開放原始碼的分布式應用程式協調服務,是google的chubby乙個開源的實現,是hadoop和hbase的重要元件。它是乙個為分布式應用提供一致性服務的軟體,提供的功能包括 配置維護 名字服務 分布式同步 組服務等。zookeeper的目標就是封裝好複雜易出錯的關...

大資料zookeeper集群配置教程

在集群環境下配置zookeeper,先準備三颱linux伺服器,記住ip位址。2 解壓,放至其中一台linux伺服器某個目錄下。如圖 注意 是以root使用者放進來的,現在想將許可權賦給hadoop使用者,注意一下操作。3 將此目錄賦許可權給hadoop使用者。4 建立配置檔案,進入conf目錄,新...