對wide stripe技術的一點思考

2021-09-05 06:02:29 字數 2687 閱讀 9154

raid

技術發展到現在遇到了應用瓶頸,其最大的問題在於資料重構時間過長。在漫長的資料重構過程中,多塊盤損壞的概率很高。對於

raid6

而言,如果第三塊盤損壞,那麼資料將會徹底丟失。在資料重構過程中,應用資料和重構資料相互競爭有限的

io頻寬,導致資料重構時間進一步增加,資料安全性受到嚴重挑戰。

面對raid

這樣的問題,業內一直在思考我們

raid

的技術是否已經走到了歷史的盡頭。筆者曾經也分析過,業內的很多儲存公司都針對這個問題提出了自己的解決方案。其中名氣最大的乙個概念就是

declustered raid

。declustered raid

只是一類

raid

而已,沒有具體的定義。還有一些公司乾脆把

raid

拿掉,將資料冗餘的工作交給了檔案系統,檔案系統在檔案級別進行資料保護,業內很多人都附和,底層

raid

氣數將近,未來屬於檔案系統。網際網路公司做的更加乾脆,在磁碟級根本不需要

raid

,所有資料儲存到兩個或者三個儲存節點上,主節點壞了,還有其他兩個備份節點。最近一段時間,

和dell

的動態磁碟技術鬧的風風火火,極大地減少了資料重構時間,並且在一段時間內可以容忍多塊磁碟損壞。看到這兒,我們可以感覺到,這個領域已經烽煙四起。可以肯定的是,不同廠商的解決方案都在告訴我們,隨著磁碟容量的增加,傳統

raid

已經很難勝任資料保護的作用,必將退出歷史舞台,只是時間而已了。

最近一段時間,筆者一直在研究如何解決傳統

raid

資料重構問題。無意間,我的思路和

解決方案不謀而合。個人認為動態磁碟技術是傳統

raid

的乙個很好替代和延續。動態磁碟技術的本質在於將資料保護層和磁碟管理層分離。傳統

raid

中,資料保護層和磁碟管理層是相互緊耦合的一種關係。

raid6

的資料分布(

array

)和磁碟(

disk group

)是一一對應的關係,一旦乙個磁碟順壞,那麼將會影響到乙個

array

中的所有條帶。這種緊耦合的關係將會導致如下兩個效能瓶頸點:

1)spare

是乙個嚴重的寫入瓶頸。所有的資料重構出來之後,都需要寫入

spare

盤。這個效能瓶頸點是很容易被發現的,並且可以通過

distribute spare

技術解決這個問題。

2)重構讀瓶頸。在傳統

raid

中,由於保護層和磁碟層一一對應,重構讀效能最大效能為單盤讀效能。因此,對於資料重構而言,重構讀是乙個嚴重的瓶頸點。並且這個瓶頸點將會限制

distribute spare

技術的應用。

動態磁碟技術可以解決上述兩大瓶頸點。因此可以大幅度提公升資料重構效能,並且可以隨著磁碟數量線性擴充套件。動態磁碟解決上述問題的核心技術在於

wide stripe

技術。當資料保護層和磁碟管理層分離之後,資料保護層中的資料可以動態的隨意、均勻分布到所有磁碟上。如此一來,乙個損壞的磁碟將會影響到所有的

array

,並且會呼叫所有的磁碟對損壞的資料進行恢復。自然而然,重構讀和

spare

單點寫入的問題將會消失,在磁碟數量達到一定的情況下,資料重構的效能將會急劇提公升。

有人擔心

wide stripe

會引入混合讀寫問題,從而導致單盤讀寫效能下降。的確,當條帶中的資料無序分布到所有磁碟上之後,單盤的讀寫效能會下降,所以,在磁碟數量較少的情況下,動態磁碟技術帶來的價值不大,磁碟越多,體現的價值越大。正可謂「三個臭皮匠,勝過諸葛亮」,單盤效能的降低無所謂,關鍵在於總體效能。

上圖是dell

動態磁碟陣列的重構時間對比結果。採用動態磁碟技術後,重構時間大幅降低,並且在兩塊盤同時損壞時表現尤為突出。可以說動態磁碟技術是傳統

raid

的乙個很好替代方案。

和檔案系統資料冗餘解決方案相比,從技術的角度來看,動態磁碟技術有何不同呢?其實,在我看來,動態磁碟技術(

ddp)、

ibm declustered raid

、panasas 

的object store

以及hp

的virtual raid

,其本質上是完全一樣的。概括起來就是上述提到的「資料保護層和磁碟管理層的分離」。資料保護層可以在檔案系統級別實現,也可以在塊裝置級別實現。不同的實現產生不同的系統形態及特性。動態磁碟技術在塊裝置級別實現了資料保護層,

object store

在檔案系統級別實現了資料保護層。磁碟管理層主要實現資源塊的分配,為資料保護層提供儲存物件。因此,上述提到的這些解決方案,有著相同的思想,所以,有著很多共性問題。

面對傳統

raid

的問題,資料保護層和磁碟管理層的分離是大勢所趨,分離之後採用

wide stripe

技術可以天然破解傳統

raid

的重構瓶頸點,可以大幅提高資料可靠性。當然,新生事物必然有它新的問題,例如,如何平衡資料分布?資料遷移對應用效能造成多大影響?如何更好的優化資料分配演算法?如何優化順序讀效能?新技術的優勢是明顯的,問題也是很多的,乙個偉大的時代才剛剛開始。

對Wpf技術的一些隨想

1.wpf技術將來肯定可以流行於所有windows系統,未來5年內 顯示器的多點觸控功能將普及 2.gis方向wpf的支援將更加完善 3.web遊戲方向wpf將占有非常重要的一席之地 4.wpf技術的確是非常有前途的技術 5.目前所感興趣的技術gis wpf 遊戲開發,win7 6.可以用wpf技術...

談一談對新技術的態度

在it行業我們經常遇到各種各樣層出不窮的框架以及工具庫,但是人總是習慣於待在乙個舒適區的,對於一些事物的改變,即使心裡抱著一種支援的態度,但是也很難落實到行動中來。而且公司的專案基於已有的框架和技術已經能夠很好的完成各項任務,並且應用新技術可能導致一系列的問題。由於這兩個原因,對於很多新技術我都只是...

對雙緩衝技術的一點理解!

void ccurve drawitem lpdrawitemstruct lpdrawitemstruct 重繪時可用 invalidaterect m rectcurvebk 而不是 invalidaterect m rectcurve 或則直接呼叫invalidate 單獨在螢幕上繪製 dra...