Dynamic Disk Pool技術解析

2022-07-18 01:00:16 字數 1934 閱讀 1140

傳統raid技術在面臨大容量磁碟的時候顯得有點力不從心,這主要由於大容量磁碟技術的引入使得raid的資料重構時間急劇變長,並且整體io效能也受到了嚴重影響。所以很多人**,傳統raid技術作為儲存核心的時代即將過去,大容量磁碟的資料管理需要其它的資料保護技術。我也曾經在一些文章中分析過,傳統raid如果不進行架構級別的革新,那麼資料重構時間(reconstruction time)和一致性效能(consistent performance)將會無法得到徹底解決。

下面首先來看一下ddp的技術特徵。上面已經提及,ddp也將資料保護域和磁碟物理域進行了分離。從下圖可以看出,ddp將所有的物理磁碟分成d-piece,通過對映演算法對映之後,若干個d-piece組成乙個d-stripe;每個d-stripe內部和傳統的raid-6的布局是相同的。也就是說,乙個d-stripe由多個傳統的stripe(條帶)構成。由於這種虛擬化是底層虛擬化,為了降低虛擬化技術所引入的overhead,d-piece的容量往往會大於512mb。

通過上圖可以很清晰的說明ddp的資料分布不是固定的,而傳統raid在磁碟上的資料分布是固定的。ddp需要通過乙個d-piece的資源分配器進行資源分配,這種資源分配策略往往採用動態按需分配的方式。

分析到此處,其實我們只是看到了ddp這種架構上的靈活性,但是還沒有看到為什麼採用ddp之後資料重構時間將會大大降低,這其中的奧妙何在?

要想搞清楚為什麼引入虛擬化之後,raid的資料重構時間會大大降低,這還需要分析傳統raid的效能瓶頸點。傳統raid的資料重構效能瓶頸點不僅在於spare盤的寫,而更為重要的是在於重構資料讀操作。其實,如果資料重構的效能瓶頸點在於spare盤的寫,那麼可以將spare盤分布到多個磁碟上,這樣可以避免單點寫入的瓶頸,這種方案也就是distributed spare。

在實踐中可以發現,即使將spare盤分布到多個物理磁碟上,reconstruction的整體效能還是無法得到提公升。其主要原因在於重構資料的讀效能是效能瓶頸點。所以,如果想要提公升reconstruction的效能,必須要破解重構資料讀寫的雙重瓶頸點。而且,我們知道寫瓶頸是相對容易解決的,但是讀瓶頸是很難解決的。其主要原因在於,如果想要破解讀瓶頸,那麼需要調整優化raid的資料分布。

採用ddp的靈活架構就可以優化raid的資料分布,這樣就可以消除資料重構的讀效能瓶頸。試想,在乙個由多個shelf構成的大系統中,存在多個raid6的array;並且所有這些array中的資料都按照分配演算法分布到所有這些shelf中。那麼,當乙個shelf中的乙個磁碟發生故障後,所有array都將會受到影響;那麼所有array都會參與到資料重構中去。更為重要的是,由於在資料布局的過程中採用了特殊演算法,因此,在所有array都進行資料重構的過程,所有的磁碟都會參與到資料重構過程中去,那麼,這時候的資料重構效能將會是乙個什麼樣的表現?事實證明,這時候的資料重構效能非常出色,並且如果shelf的數量越多,資料重構速度就越快,這是乙個線性擴充套件的關係。而要達到這種目的,資料布局演算法,也就是虛擬化過程中的資源分配器尤為重要,其決定了資料重構的效能。

另乙個非常有意思的結果是在兩塊盤發生故障的情況下,傳統raid的資料重構時間將會是翻倍的關係,但是,ddp不是這種關係。如下圖所示,在兩塊盤發生故障的情況下,ddp的資料重構時間增加了50%,而不是100%。

可以說,ddp技術是在傳統raid基礎上發展起來的新一代raid架構,其核心思想是引入了虛擬化技術。隨著磁碟容量的進一步增大,未來ddp技術將會在磁碟儲存系統中大行其道。

**:

加解擾技術

加解擾技術 加解擾技術用於對數字節目進行加密和解密。其基本原理是採用加擾控制字加密傳輸的方法,使用者端利用ic卡解密。在mpeg傳輸流中,與控制字傳輸相關的有2個資料流 授權控制資訊 ecms 和授權管理資訊 emms 由業務金鑰 sk 加密處理後的控制字在ecms中傳送,其中包括節目 時間 內容分...

VPD技術粗解

vpd技術,dba policies這張表中儲存了啟用vpd技術的表 select from dba policies where object name upper pa projects 給某張表啟用vpd 1.create data create table t x number insert...

大資料技術全解之二

大資料技術全解 國內首本講清大資料系統研發全流程圖書,作者是乙個我敬佩的人,敢於做非常具有挑戰性的工作。寫書本來不是乙個容易的事情,寫一本關於最新的技術的書,更加的不容易。除了作者自身需要有很高的技術造詣,對書中相關的技術理解足夠深外,還需要作者能夠有很強的表達能力和說服能力,把最新的技術的奧秘清晰...