10分鐘看懂!基於Zookeeper的分布式鎖

2021-09-02 20:26:03 字數 2508 閱讀 4316

什麼是zookeeper?

zookeeper(業界簡稱zk)是一種提供配置管理、分布式協同以及命名的中心化服務,這些提供的功能都是分布式系統中非常底層且必不可少的基本功能,但是如果自己實現這些功能而且要達到高吞吐、低延遲同時還要保持一致性和可用性,實際上非常困難。因此zookeeper提供了這些功能,開發者在zookeeper之上構建自己的各種分布式系統。

雖然zookeeper的實現比較複雜,但是它提供的模型抽象卻是非常簡單的。

zookeeper提供乙個多層級的節點命名空間(節點稱為znode),每個節點都用乙個以斜槓(/)分隔的路徑表示,而且每個節點都有父節點(根節點除外),非常類似於檔案系統。

例如,/foo/doo這個表示乙個znode,它的父節點為/foo,父父節點為/,而/為根節點沒有父節點。與檔案系統不同的是,這些節點都可以設定關聯的資料,而檔案系統中只有檔案節點可以存放資料而目錄節點不行。zookeeper為了保證高吞吐和低延遲,在記憶體中維護了這個樹狀的目錄結構,這種特性使得zookeeper不能用於存放大量的資料,每個節點的存放資料上限為1m。

而為了保證高可用,zookeeper需要以集群形態來部署,這樣只要集群中大部分機器是可用的(能夠容忍一定的機器故障),那麼zookeeper本身仍然是可用的。客戶端在使用zookeeper時,需要知道集群機器列表,通過與集群中的某一台機器建立tcp連線來使用服務,客戶端使用這個tcp鏈結來傳送請求、獲取結果、獲取監聽事件以及傳送心跳包。如果這個連線異常斷開了,客戶端可以連線到另外的機器上。

架構簡圖如下所示:

客戶端的讀請求可以被集群中的任意一台機器處理,如果讀請求在節點上註冊了***,這個***也是由所連線的zookeeper機器來處理。對於寫請求,這些請求會同時發給其他zookeeper機器並且達成一致後,請求才會返回成功。因此,隨著zookeeper的集群機器增多,讀請求的吞吐會提高但是寫請求的吞吐會下降。

有序性是zookeeper中非常重要的乙個特性,所有的更新都是全域性有序的,每個更新都有乙個唯一的時間戳,這個時間戳稱為zxid(zookeeper transaction id)。而讀請求只會相對於更新有序,也就是讀請求的返回結果中會帶有這個zookeeper最新的zxid。

如何使用zookeeper實現分布式鎖?

在描述演算法流程之前,先看下zookeeper中幾個關於節點的有趣的性質:

下面描述使用zookeeper實現分布式鎖的演算法流程,假設鎖空間的根節點為/lock:

客戶端連線zookeeper,並在/lock下建立臨時的且有序的子節點,第乙個客戶端對應的子節點為/lock/lock-0000000000,第二個為/lock/lock-0000000001,以此類推。

客戶端獲取/lock下的子節點列表,判斷自己建立的子節點是否為當前子節點列表中序號最小的子節點,如果是則認為獲得鎖,否則監聽/lock的子節點變更訊息,獲得子節點變更通知後重複此步驟直至獲得鎖;

執行業務**;

完成業務流程後,刪除對應的子節點釋放鎖。

步驟1中建立的臨時節點能夠保證在故障的情況下鎖也能被釋放,考慮這麼個場景:假如客戶端a當前建立的子節點為序號最小的節點,獲得鎖之後客戶端所在機器宕機了,客戶端沒有主動刪除子節點;如果建立的是永久的節點,那麼這個鎖永遠不會釋放,導致死鎖;由於建立的是臨時節點,客戶端宕機後,過了一定時間zookeeper沒有收到客戶端的心跳包判斷會話失效,將臨時節點刪除從而釋放鎖。

另外細心的朋友可能會想到,在步驟2中獲取子節點列表與設定監聽這兩步操作的原子性問題,考慮這麼個場景:客戶端a對應子節點為/lock/lock-0000000000,客戶端b對應子節點為/lock/lock-0000000001,客戶端b獲取子節點列表時發現自己不是序號最小的,但是在設定***前客戶端a完成業務流程刪除了子節點/lock/lock-0000000000,客戶端b設定的***豈不是丟失了這個事件從而導致永遠等待了?這個問題不存在的。因為zookeeper提供的api中設定***的操作與讀操作是原子執行的,也就是說在讀子節點列表時同時設定***,保證不會丟失事件。

最後,對於這個演算法有個極大的優化點:假如當前有1000個節點在等待鎖,如果獲得鎖的客戶端釋放鎖時,這1000個客戶端都會被喚醒,這種情況稱為「羊群效應」;在這種羊群效應中,zookeeper需要通知1000個客戶端,這會阻塞其他的操作,最好的情況應該只喚醒新的最小節點對應的客戶端。應該怎麼做呢?在設定事件監聽時,每個客戶端應該對剛好在它之前的子節點設定事件監聽,例如子節點列表為/lock/lock-0000000000、/lock/lock-0000000001、/lock/lock-0000000002,序號為1的客戶端監聽序號為0的子節點刪除訊息,序號為2的監聽序號為1的子節點刪除訊息。

zookeeper學習中

所以調整後的分布式鎖演算法流程如下:

一分鐘看懂mysql 一分鐘,看懂易貨

從20世紀80年代開始,易貨公司在美國加拿大 澳大利亞等國興起,成為這些國家減少現金用量 增加銷售 減少庫存 開發新客戶 開闢新市場 促進經濟發展的重要產業。也成為了企業消化庫存商品 剩餘生產能力 無形資產的有效方式和在遭遇資金瓶頸時的新選擇。2015年以來,中國線下易貨店開始了矇眼狂奔,在河南南陽...

3分鐘看懂flex布局

首先要有個容器,並設定display flex display webkit flex 該容器有以下六個屬性 flex direction 元素排列方向 row,row reverse,column,column reverse flex wrap 換行 nowrap,wrap,wrap rever...

2分鐘看懂DMZ區

最近看到乙個名詞 dmz區 一直充滿疑問,今天對其進行了查詢,理解如下 1 dmz是什麼?英文全名 demilitarized zone 中文含義是 隔離區 在安全領域的具體含義是 內外網防火牆之間的區域 2 dmz做什麼?dmz區是乙個緩衝區,在dmz區存放著一些公共伺服器,比如論壇等。使用者要從...