zookeeper入門系列 理論基礎

2021-12-30 10:19:30 字數 3766 閱讀 4074

之前我們了解了zookeeper到底是什麼,這一章重點來看zookeeper當初到底面臨什麼問題?而zookeeper又是如何解決這些問題的?

實際上zookeeper主要就是解決分布式環境下的一致性問題。那麼解決這個問題到底有哪些難點呢?我們一步一步來闡述和推理這個過程。

分布式事務

我們首先考慮一致性的特殊情況,即分布式事務的情況。分布式事務對於一致性的要求是強一致性,因此對於我們後續討論有一定的借鑑意義。這裡我們用到乙個經典的例子:bob給smith轉賬,強一致性的要求一定是需要對外來說bob減錢的同時smith加錢。見文獻1(也**於文獻1)

單機環境下是這樣的

簡單講就是有關bob的減錢和smith的加錢都轉同乙個庫來做,可以採用資料庫的事務特性輕鬆支援。保證bob給smith轉賬的安全性。

而分布式環境就變這樣了

假設應用伺服器是a,bob端的資料庫是b,smith端的資料是c,那麼a做成乙個轉賬,需要b事務成功提交,並且c事務成功提交。然而因為網路的影響,可能出現兩種情況

1. 如果bob扣款成功,而網路通知smith失敗了,則會出現bob的錢減了,smith的錢沒加

2. 如果bob扣款不成功,而smith加錢成功了,則會出現smith錢增加了,但是bob的錢也沒減少

2pc

這種不一致的問題困擾著大家。任意一邊出錯想要回滾另一邊都不是簡單的資料庫回滾的事情( 因為此時已經成功提交),而是需要做業務的逆向操作,而不同業務的逆操作都不同,導致複雜性增加。考慮資料庫事務的執行實際上是先將執行操作寫入binlog,等到最後通過乙個commit指令將binlog的內容一次更新到表中,或者寫到一半通過乙個rollback指令將binlog中的內容回滾。於是乎,可以想到使用2個階段來執行這個過程,第一階段,寫入binlog;第二階段執行commit或者rollback。這就是著名的兩階段提交協議(2pc)。如果仔細考慮,會發現兩階段協議並沒有解決問題,只不過降低了出錯的概率而已,因為第二階段同樣存在上面的兩種情況。注意最終狀態是多台機器的狀態&&的 結果。以下是兩階段協議的時序圖:

1. 考慮prepare階段的響應(因為請求階段和執行階段都可以在最後響應中體現出來),對於分布式環境中,任意時刻考慮3種狀態:成功、失敗、超時。

a.成功。不必處理,執行後續行為commit。

b.失敗。這是執行階段出錯,執行後續行為rollback。

c.超時。這可能是執行階段太慢,也可能是網路階段太慢或丟包,但是保守處理,超時可以當做出錯。

可以看出,prepare階段的問題能夠完全避免。

2. 考慮commit階段,同樣考慮成功失敗超時3種狀態。

a. 成功。整個事務成功執行

b. 失敗。提交出錯,假設此時前面的b已經提交成功了,則同樣面臨需要回滾b卻無法回滾的問題,因為b已經提交成功了。

c. 超時。同上。

還有一種例外情況,即prepare階段完成後a掛了,則b,c即進入不知所措的狀態。

可以看出,在2pc中事務無法做到像單機一樣安全,只不過降低了出問題的概率。

3pc

針對如何解決2pc中的例外情況,出現了3階段提交協議。3階段的主要改進是把2階段的prepare再分為cancommit和precommit兩個階段。

1. 考慮cancommit階段的響應。

a.成功。不必處理,執行後續行為precommit。

b.失敗。說明無法執行,無須後續提交或回滾行為。

c.超時。保守處理,超時可以當做失敗。

2. 考慮precommit階段的響應。

a.成功。不必處理,執行後續行為docommit。

b.失敗。執行階段出錯,執行後續行為rollback。

? ? ? ? c.超時。執行階段太慢,也可能是網路階段太慢或丟包,但是保守處理,超時可以當做出錯。

3. 考慮cancommit階段的響應。

a.成功。整個事務成功執行。

b.失敗。提交出錯,假設此時前面的b已經提交成功了,則同樣面臨無法回滾的問題。

c.超時。保守處理,超時可以當做失敗。

例外情況,即自cancommit返回成功後的任意階段a掛掉了,那麼bc同樣能夠知道這個事務正在發生(因為cancommit已經提交了足夠資訊讓bc知曉此事),於是bc可以在無a的情況下繼續執行後續的階段(比如bc投票啟動新的a',並提供a'足夠資訊)。於是3pc正好解決了2pc的例外情況。但是3pc仍然存在類似2pc的問題,即最後階段失敗或超時同樣有可能出現資料不一致的問題。所以3pc仍然只是降低了發生概率,並沒有真正解決問題。

xts

工業界的對分布式事務的應用是如何呢?可以參考某寶的知名分布式框架xts。

xts本質上是2pc(實際上如果引入3pc會多2n次網路互動,在量大時反而更加不安全)。xts引入協調者a的server部分,實際上是乙個大集群,以配置的方式接入各種需要分布式事務的業務,集群由專門的團隊維護,保證其可用性和效能;而協調者a的client部分則通過發起方呼叫,prepare階段時,先通過client將本次事務資訊傳送到server,落庫,然後即時推送prepare請求到b和c,當收到b,c的響應時把他們狀態入庫,如果正常,則做commit提交;否則會用定時任務去推送未完成的狀態直到完成。上文提到的prepare之後協調者a掛了這種情況,在server集群的保證下,幾乎很少會發生。而上文提到的所有超時的情況,都可以通過定時任務推送拿到乙個確定的狀態而不是盲目的選擇回滾或者提交。另外由於b和c都是集群,很少會發生多次請求過去無響應的情況。直到最後一種情況就是commit時b成功了c失敗了,或者反過來b失敗c成功,這種情況成為懸掛事務,最終等待人工來解決,據說每天都有幾筆到幾十筆。

無疑xts作為2pc在工業界的應用,是相當了不起的設計,通過各種方式規避了各種可能的不一致性,在效能,效率等方面做到了平衡。

tcc(try/confirm/cancel)

業務補償型別,其基本思想是對每乙個業務操作做乙個逆操作,一旦成功了,就做正向業務,一旦失敗了就做業務的逆操作。通常在業務邏輯簡單並且正逆操作清晰的時候用比較好。

查詢補償

典型的場景是向銀行傳送了轉賬請求未得到明確的成功失敗返回碼,此時先做業務結果的查詢,根據結果做相應處理,比如查詢結果成功,則置狀態為成功,查詢結果失敗,則做相應的業務補償,查詢結果為未知,則繼續查詢。

訊息事務及訊息重試

事務訊息及訊息重試本質上都是將一些通用的事務交給訊息中介軟體,通過訊息中介軟體來保證訊息的最終一致性。

事實上,訊息事務解決了這類問題,即本地事務和訊息應當有一致性,解決這個一致性比較麻煩,比如訊息中介軟體和業務同時實現xa;或者採用一些更加複雜的方式,比如將訊息表與業務表放同庫,利用資料庫的事務來保證一致性,而訊息系統只需要輪訓該訊息表即可;當然,也有訊息的二階段提交+補償的方式。訊息事務解決了訊息發起方,即生產者與訊息中介軟體之間的一致性問題。

trycatch(exception e)訊息中介軟體與消費者之間的一致性問題則需要通過重試+冪等來解決。訊息重試中主要考慮重試次數以及重試時間的閾值變化。

Zookeeper入門理解

zookeeper是乙個底層的分布式協調服務工具,把框架告訴它,它自動協調 只要集群中有一台能連上就能獲取zookeeper的資料資訊 1.zookeeper可以做很多服務中介軟體的協調元件,比如hadoop,kafka,hbase.可以協調不同集群節點的狀態。2可以做很多服務中間的配置資料儲存,比...

Zookeeper系列 Leader選舉

為了徹底搞懂zk選舉leader的過程,需要在windows本地搭建乙個偽集群出來,通過實際操作,觀察集群的節點的變化。但是在實操過程中,發現windows搭建的一些坑,這記錄下。1.參考此部落格進行搭建,2.依次啟動,啟動後,無法使用zkserver.cmd status命令,無法觀察哪乙個節點是...

Zookeeper系列二 Zookeeper原理

從擴充套件性開始講起,在zk中存在的角色有leader,follower,observer。zk是讀寫分離的,所有的寫都會壓到leader上面,讀操作可以在follower上面完成。只有follower才能選擇,observer比follower級別還低。observer只是為了放大查詢能力。乙個集...