分布式技術

2021-10-06 02:40:33 字數 1126 閱讀 3933

資料分布式模式:利用多台計算機並行處理多個請求,在相同的時間內完成更多的請求,解決單機效率瓶頸問題。多集群出現的問題如下

資源:乙個系統提供正常能力需要占用的硬體資源

可用性和可擴充套件性

不同分布式系統的指標

選舉流程:

優點:演算法複雜度低,選舉快,簡單易實現

缺點:每個節點需要儲存全域性節點訊息。新增服務時,如果新增的節點id大於目前的id,則會引發重新選舉

raft演算法

選舉流程

zab演算法(zookeeper實現分布式協調功能演算法)

zap 演算法:每個節點有乙個唯一的三元組(server_id,server_zxid,epoch)。server_id表示本節點唯一的id,server_zxid表示本節點存放資料的id,資料id越大,表示資料越新,權重越大,epoch表示當前選取輪數。zab選舉演算法的核心「少數服從多數,id大的節點優先成為主」

選舉流程:

優點:穩定性比較好

缺點:每個節點會廣播訊息,集群中的訊息量為n*(n-1)條訊息,容易出現廣播風暴

效能:bully

缺點:共識達成的周期長,效率低,資源消耗大

pos演算法:

dpos演算法:

一致性和共識的區別:

分布式事務實現:

三階段提交協議方法:三階段提交是對二階段提交阻塞和資料不一致的改進,三階段提交引入超時機制和準備階段,三階段分表為 cancommit,precommit,docommit三個階段

基於訊息的最終一致性方法:基於分布式訊息的一致性方案得事務處理,引入乙個訊息中介軟體,用於多個引用質檢訊息傳遞。

基於快取實現分布式鎖

基於zookeeper實現分布式鎖:

實現:基於zk臨時順序節點實現分布鎖 。每個客戶端對某個資源加鎖時,在改資源對應的指定節點目錄下,生產乙個唯一的臨時有序節點,判斷是否獲取鎖的方式,只需要判斷有序節點序號是否是最小的乙個,當釋放鎖的時候,將這個臨時節點刪除

羊群效應:使用zk,當建立臨時節點斷開時。如果註冊了watcher通知事件,同一時間多個節點對應的客戶端完成事務或事務終端,那麼zk伺服器短時間內向其他客戶端傳送大量的時間通知。將會對zk造成巨大的效能影響和網路衝擊

解決方法為:

分布式鎖注意事項:

分布式技術之分布式ID和分布式事務

mycat不支援只能使用在sharding jdbc中 public class mysharding implements preciseshardingalgorithm spring.shardingsphere.sharding.tables.t order.actual data node...

分布式儲存技術

分布式儲存技術 分布式儲存概念 與目前常見的集中式儲存技術不同,分布式儲存技術並不是將資料儲存在某個或多個特定的節點上,而是通過網路使用企業中的每台機器上的磁碟空間,並將這些分散的儲存資源構成乙個虛擬的儲存裝置,資料分散的儲存在企業的各個角落。結構化資料的儲存及應用所謂結構化資料是一種使用者定義的資...

Jmeter分布式技術

一台電腦的效能有限,可能無法滿足效能測試場景所需要的虛擬使用者數量。所以需要用到分布式,這裡所說的分布式,是指用多台機器分攤自身機器產生虛擬使用者的壓力。注意分布式和集群的概念區別,集群是指伺服器由多台機器集合在一起,向外提供服務,是指分攤伺服器的處理壓力的一種方式。jmeter分布式的測試的執行原...