華雲資料新專利解決雲平台容災難題

2022-10-03 04:18:10 字數 2390 閱讀 4239

隨著雲計算業務的快速發展,國內外雲計算企業的專利之爭也愈發激烈。在雲計算這樣的技術領域,專利儲備往往代表著企業最新的技術實力。華雲資料將開設「智匯華雲」專欄,不定期更新專利和技術相關文章,與大家共同分享雲計算領域的最新技術。

在雲計算領域,對虛擬機器磁碟執行資料保護時一般採用快照技術。使用者可以選擇定期或者不定期地對系統盤和資料盤做快照(snapshot)。快照技術可以將事故發生後的資料損失降低到一定範圍內,比如,允許使用者建立的快照個數。但是,快照技術只能將資料恢復至最近的乙個快照點的狀態,這個快照點之後產生的資料便無法恢復。快照技術雖然可以恢復到過去的某個快照點,但是當本地資料中心發生故障時,儲存在本地資料中心的快照也無法使用,從而導致虛擬機器磁碟資料無法保證一致性。

此外,在雲計算領域中對虛擬機器磁碟資料進行保護還可採用異地備份的技術方案。異地備份的實現方式有兩種,一種是異地快照程式設計客棧備份,即定期或者不定期地將本地資料中心的快照複製到另外乙個資料中心,當本地資料中心發生故障時,可以在異地資料中心將資料恢復至最近的乙個快照點;另外一種是通過映象的方式,在另外乙個資料中心存放相同的資料。前者的缺點是資料只能恢復至最近的乙個異地快照點,而且隨著資料量的增大,快照的rpo(recovery point objective,資料恢復點目標) 和rto(recovery time objective,恢復時間目標) 也將逐漸增大,無法滿足關鍵業務系統不間斷執行的要求;而後者的缺點是一旦源資料中心寫入了錯誤的資料,異地資料中心也會存放錯誤的資料。

再者,在雲計算領域中對虛擬機器磁碟資料進行保護還可採用連續資料保護方案。對於雲平台中連續資料保護通常採用非同步方式或者同步方式實現。

在非同步方式中,資料請求從客戶端傳送過來之後,先將資料寫入到本地集群和記憶體當中,然後返回給客戶端乙個應答,表示該資料請求已經完成,客戶端可以傳送後續的讀寫請求,當記憶體區域的資料達到一定的閾值,例如內程式設計客棧存資料達到預先設定的大小或者達到一定時間的閾值,系統會啟動乙個額外的執行緒非同步將記憶體資料複製到遠端的資料集群當中,保證這部分本地集群和遠端集群資料的一致性,該方案還有一些簡單的變化,但是本質還是非同步複製資料到遠端集群達到資料保護的目的。非同步方案的連續資料保護存在本地集群和遠端集群資料不同步情況,在本地集群因為某種原因需要通過遠端集群恢復資料的時候,可能存在不能恢復到最新的資料,在資料已經寫到本地集群和記憶體中,但是資料還沒有非同步複製遠端集群中,這個時候如果客戶端所在物理節點因為某種原因導致記憶體資料丟失,這個時候資料可能就恢復不到最新的版本。

同步方案針對非同步方案存在本地集群和遠端集群存在資料不同步的問題,同步方案採取資料請求同時發給本地集群和遠端集群,只有本地集群和遠端集群保證資料請求的資料已經持久化到本地集群和遠端集群,客戶端只有收到本地集群和遠端集群的應答才會認為本次資料請求已經完成,客戶端可以傳送後續請求。

華雲資料的方案

為克服非同步連續資料保護方式在本地集群和遠端集群之間由於不同步所造成的資料丟失的缺陷;同時,克服同步連續資料保護方式中需要等待資料在本地集群和遠端集群持久化的問題,避免在同步方式中雲平台的計算效能的下降。我們提出並實現了一種全新的雲平台連續資料程式設計客棧同步方案,其系統架構如下:

圖一系統關鍵元件說明如下:

快取模組,用於臨時儲存使用者虛擬機器傳送的請求所對應的資料。

效能判定模組,用於對本地儲存集群或者異地儲存集群進行效能判定,以確定本儲存集群與異地儲存集群在乙個延遲操作週期所容忍的資料差異。

更新模組,包含一種邏輯,所述邏輯能夠根據採集模組傳送的效能資料確定延遲操作週期。

採集模組,根據更新模組所設定的時間閾值t,對本地儲存集群及異地儲存集群的效能資料進行採集,並傳送至更新模組。

系統的io處理原理歸納如下:

虛擬化管理器(hypervisor)接收自使用者虛擬機器(user vm)傳送的請求,在等待更新模組確定的延遲操作週期後,將請求並行傳送至本地儲存集群與異地儲存集群(會在快取模組中為前一次響應慢的本地儲存集群或異地儲存集群保留乙份請求資料);hypervisor不等待該請求所關聯的資料在本地儲存集群和/或異地儲存集群中完成資料持久化,而等待未作出響應的本地儲存裝置或者異地儲存裝置作出響應,任務結束。

當本地儲存集群與異地儲存集群中某乙個較快作出響應後,可由hypervisor接收下乙個請求,並向較快完成響應的本地儲存集群或者異地儲存集群下發下乙個請求,並開始執行該請求;當較慢響應前乙個請求的本地儲存集群或者異地儲存集群完成響應後,可以立刻開始下乙個請求的響應。

圖二和圖三分別給出了本地儲存集群和異地儲存集群先於應答的操作序列:

圖二圖三由於本地儲存集群與異地儲存集群的效能與網路環境會隨時發生變換,因此兩者的先後順序並不固定,從而可根據本地儲存集群與異地儲存集群的計算效能和/或網路環境而程式設計客棧靈活切換與變換先後順序,從而使得整個技術方案既能夠達到目前非同步資料備份的高效率的優點,又能避免過分消耗後台或者雲平台的計算資源,因此本方案能夠顯著的提高使用者體驗,避免使用者發出的請求產生響應的滯後與延遲。

作者:news資訊

鏈結:程式設計客棧e3

來源:簡書

本文標題: 華雲資料新專利解決雲平台容災難題

本文位址:

華雲資料發布開放平台 引領雲計算發展新潮流

當網際網路趨於相當多元化發展,移動化越發佔據主導地位,市場和人們的需求發生著各種多樣的變化。無論是網際網路巨頭還是創新型網際網路企業,僅僅憑藉自身的能力與資源,已經難以滿足來自社會 市場和人們的多樣需求,如何將自身產品與服務推廣到最大的範圍成為急需解決的問題,所以華雲資料開放雲平台,打造雲服務。無論...

華雲資料重新定義企業級雲平台服務

2015年,是雲計算市場火爆的一年,也是企業級雲服務市場增長迅猛的一年。據了解,我國雲計算的市場規模在2010年就達到了350億元,2013年更是達到900億元,2014年則超過1000億元,發展平均增速達到37 預計2015年,我國雲計算上下游產業規模將超過3500億元。六年來,華雲資料,這家將自...

華雲資料 做雲計算就要做好生態

在2019年的 工作報告中,中國將2019年的國內生產總值增長目標設定為6 到6.5 並表示要促進高質量 可持續發展。此前,經濟工作會議也提出2019年要重點抓好推動製造業高質量發展工作。企業作為技術創新主體 技術創新主力軍,利用數字技術賦能的方式幫助傳統企業實現轉型公升級及促進新興產業發展的大勢,...