多資料中心間複製技術的較量

2021-09-23 00:21:54 字數 1465 閱讀 3490

雖然資料中心的建設規模越來越大,但也不可能無限制地擴容下去,這和資料中心所處的位置、環境、技術水平、公共設施等都有關係。很多時候,要在多地建設很多座資料中心,有時是應用的需要,有時是資源限制,也有時是為了資料備份,甚至到現在還出現了很多新鮮的概念:比如微型資料中心,雲端資料中心等,不再一味地強調建設超大超強的資料中心,俗話說「三個臭皮匠頂乙個諸葛亮」,未來的資料中心可以以數量取勝,而不是個體的大與小。那麼問題來了,多個資料中心之間如何協調工作,才能達到「1+1大於2」的效果?這就涉及到資料中心之間的資料複製技術,必須學會用好複製技術,才能玩轉多資料中心。

單主複製技術

單主複製指的是只有乙個主資料中心有資料寫許可權,完成資料的寫入工作,同時向其它資料中心同步資料,其它資料中心只提供唯讀服務。單主複製技術相當於將主資料中心的資料copy多份,放到其它資料中心中,供更多人去訪問,但是這些資料只有讀許可權,對於那些互動式的訪問,這種複製技術行不通。為了不影響主資料中心的寫入效能,同步資料一般採用非同步方式複製,這樣由於時間上的不完全同步,當主資料中心失效時,其它資料中心的資料會有少量丟失,還有多個資料中心只有乙個主資料中心執行寫資料操作,工作效率低,寫資料量少,同樣也會影響複製到其它資料中心的資料量,最終影響的是整個資料中心系統的效率。

多主複製技術

既然單主複製技術的寫資料效率太低,於是就出現了多主複製技術。多主實現了多個資料中心都可以寫資料,當然也支援讀資料。多主複製技術需要解決寫請求順序的問題,不同資料中心所處的位置不同,相同的寫操作在不同的資料中心執行的效果和時間並不同,這就容易出現資料的差異,導致寫資料錯誤或者有延遲,這是資料中心的應用所不能容忍的,這樣一般選擇在地理位置上接近的資料中心進行同時寫資料,時延可以得到保障,所以這類多主複製技術一般是部署在兩個資料中心上,由兩個位置較近的資料中心同時完成寫資料,同時兩個資料中心向其它資料中心複製資料,其它資料中心支援資料的讀訪問,如果要實現多於兩個資料中心同時寫資料,多主複製技術就不適合了。

第二階段提交技術

paxos一致性演算法

paxos是萊斯利蘭伯特於2023年提出的一種基於訊息傳遞的演算法,被認為是一致性演算法中最為有效的一種,其解決了乙個分布式系統中資料一致性問題。paxos為保證每個節點執行相同的命令序列,需要在每一條指令上執行paxos,以保證每個節點看到的指令一致。若在多資料中心之間部署paxos,可以實現資料的完全一致性。將paxos演算法部署到資料中心,可以實現所有的跨資料中心一切操作,特別用來協調狀態在資料中心間轉移。如果你的應用為乙個資料中心提供資料,當它需要把資料轉移到另外乙個資料中心時,這些協調的工作就需要通過 paxos ,paxos 還會用來管理 memcache 和離線處理。因為paxo演算法中也有不少的判斷和互動過程,這直接導致的就是資料的處理時延高,讀寫效率下降,但資料基本不會丟失,並且資料中心之間的資料也完全一致。

三大資料中心儲存技術之間的較量

dasdas是直接附加儲存技術,是一種直接與主機系統相連線的儲存裝置,是應用最為廣泛的資料儲存方法,也是最為古老的儲存技術。das完全以伺服器為中心,儲存裝置作為伺服器的組成部分。伺服器的結構如同pc機架構,外部資料儲存裝置 如磁碟陣列 光碟機 磁帶機等 都直接掛接在伺服器內部匯流排上,資料儲存裝置...

資料中心技術

現代資料中心是指一種特殊的it基礎設施,用於集中放置it資源,包括伺服器 資料庫 網路與通訊裝置以及軟體系統,接下來介紹資料中心常見組成技術與部件 1 虛擬化 資料中心包含了物理和虛擬的it資源。物理it資源層是指放置計算 網路系統和裝置,以及硬體系統及其作業系統的基礎設施。虛擬層對資源進行抽象和控...

資料中心技術筆記

kafka 是什麼 有人說kafka在使用上就像乙個快遞站,上游生產者傳送資料給它存放,下游的消費者隨時可以讀取資料,不用考慮傳送速率跟消費速率之間的匹配問題,傳送的快了,kafka就存多一會兒。剛開始接觸kafka的我,感覺形容的很貼切,但隨著使用的經驗增加,漸漸感覺這個比喻其實還不太準確。要我說...