大話儲存學習筆記(3)

2022-08-30 12:48:13 字數 2720 閱讀 2304

五、磁碟iops和傳輸頻寬

磁碟iops:每秒能進行多少次io,每次io根據寫入資料的大小,這個值也不是固定的。

如果io每次都寫入很大的一塊連續的資料,則每秒所做的io次數是比較低的;

如果磁頭頻繁換道,每次寫入的資料還是較大的話,此時iops是這塊硬碟的最低數值了。

如果在不頻繁換道,每次寫入最小的資料塊,如512位元組,則此時iops將是最高值。

傳輸頻寬:指硬碟或裝置在傳輸資料是資料流的速度,如果寫入1000個1kb的檔案需要10s,那麼傳輸頻寬只能達到每秒1mb,而寫入乙個10mb的檔案用了0.1s,此時傳輸頻寬是100mb/s。所以,即使同一塊硬碟在寫入不同大小的資料時,表現出來的頻寬也是不同的。

具有高規格的硬碟在傳輸大塊連續資料時具有優勢,而具有iops的硬碟在傳輸小塊不連續的資料時具有優勢。

六、七種raid

raid0即data stripping資料分條技術,raid0只需要兩塊硬碟,成本低,但是沒有提供冗餘和錯誤修復能力。

橫分豎割思想:

圖1.1所示是4塊普通硬碟,其上布滿了扇區。

圖1.2所示引入分割思想後的硬碟。許多檔案系統或者卷管理軟體都使用塊而不是扇區作為基本儲存單元,所以圖1.2中採用4個扇區組成的塊作為基本單元。

不同磁碟的相同偏移出的塊組成stripe,也就是條帶。

圖1.1圖1.2

1.raid1

raid1稱為磁碟映象,原理是把一塊磁碟資料映象到另一塊磁碟上,也就是資料備份。

2.raid2

raid2帶有海明碼校驗,資料條帶化分布在所有磁碟上,使用海明碼技術來提供錯誤檢查和恢復,技術實施複雜,在商業環境中很少使用。由乙個資料不同的位運算得到的海明校驗碼可以儲存另一組磁碟上。由於海明碼的特點,它可以在資料發生錯誤的情況下將錯誤校正,以保證輸出的正確。海明碼可以判斷修復一位錯誤的資料,並且校驗盤的數量較多,4塊資料盤需要3塊校驗盤。但是隨著資料盤數量的增多,校驗盤的比例會顯著減小。

3.raid3

raid3和raid2類似,兩者都是將資料條帶分布於不同的硬碟上,條塊單位為位或者位元組。raid3採用奇偶校驗碼,這種碼只能查錯,不能糾錯。

不同於raid 2,raid 3使用單塊磁碟存放奇偶校驗資訊。如果一塊磁碟失效,奇偶盤及其他資料盤可以重新產生資料。 如果奇偶盤失效,則不影響資料使用。raid 3對於大量的連續資料可提供很好的傳輸率,但對於隨機資料,奇偶盤會成為寫操作的瓶頸。

4.raid4

raid4在raid3基礎上增加了條帶深度。和raid3,唯一不同的是,在資料分割上raid3對資料的訪問時按位進行的,raid4是以資料塊為單位。

一塊資料塊是一塊完整的資料集合,比如乙個檔案就是乙個典型的資料塊。當然,對於硬碟的讀取,一塊資料塊不是乙個檔案,而是由作業系統決定的,這就是簇(cluser)

控制器的乙個io過來,如果這個io小於條帶深度,那麼這次io就被完全「禁錮」在乙個磁碟上,寫入乙個磁碟的segment,這次io只用了乙個磁碟。而其他io也可以和這個io同時進行,但是前提條件是,其他io的目標不是這個io要寫入或讀取的磁碟。所以實現io併發還需要增大資料的隨機分布性,而不要連續乙個磁碟上分布。

5.raid5

raid5是分布式奇偶校驗,實現了多io併發。奇偶校驗碼分布於所有的磁碟上。因為奇偶校驗碼在不同的磁碟上,所以提高了可靠性。但是它對資料傳輸的並行性解決不好,而且控制器的設計也相當困難。

raid 3 與raid 5相比,重要的區別在於raid 3每進行一次資料傳輸,需涉及到所有的陣列盤。而對於raid 5來說,大部分資料傳輸只對一塊磁碟操作,可進行併發操作(原因是奇偶校驗分布式)。在raid 5中有「寫損失」,即每一次寫操作,將產生四個實際的讀/寫操作,其中兩次讀舊的資料及奇偶資訊,兩次寫新的資料及奇偶資訊。

raid5和raid0通過條帶來提公升效能,但是它又克服了raid0的魯莽急躁,對資料用校驗的方式進行保護。但是raid5連續讀效能不如raid3。由於raid3的條帶深度很小,每次io都能能牽動所有的磁碟為它服務,對於大塊連續的資料的讀寫速度快。但是raid5的條帶深度比較大,每次io一般使用一塊資料盤。而通用的raid5系統一般被設計為資料塊都是先放滿乙個segment,再去下乙個segment存放。raid5在隨機讀方面,是首屈一指的,這要歸功於它的多io併發的實現,原因是奇偶校驗採用分布式,這裡指隨機io。raid3和raid4在iosize值大的時候具有高效能,raid5在隨機iops大的時候具有高效能。

6.raid6

raid6採用雙奇偶校驗方法。

附:

條帶深度:指的是條帶的大小,也叫條帶大小。有時也被叫做block size, chunk size, stripe length 或者granularity。這個引數指的是寫在每塊磁碟上的條帶資料塊的大小。raid的資料塊大小一般在2kb到512kb之間(或者更大),其數值是2 的次方,即2kb,4kb,8kb,16kb這樣。

條帶大小對效能的影響比條帶寬度難以量化的多。

[email protected]

大話儲存學習筆記(4)

七 邏輯卷管理 邏輯卷管理 簡稱lvm 是linux環境下對磁碟分割槽進行管理的一種機制,lvm是建立在硬碟和分割槽之上的乙個邏輯層。通過lvm管理可以輕鬆管理磁碟分割槽,如 若干個磁碟分割槽連線為一整塊的捲組,形成乙個儲存池。管理員可以在卷組上隨意建立邏輯捲組,並進一步在邏輯卷組上建立檔案系統。管...

大話儲存學習筆記(1)

1.什麼叫io i表示in,對於cpu來說,從記憶體中取資料 o表示out,cpu運算完後將資料傳送至記憶體 同理,對於磁碟來說,將資料寫入磁碟表示in,將輸入從磁碟讀出來叫out 2.匯流排 pci匯流排 一種南橋與外設連線的匯流排技術 pci匯流排特點 中斷共享,即不同裝置使用同一中斷而不發生衝...

《大話儲存II》學習筆記 2

第5章 降龍傳說 raid 虛擬磁碟 卷和檔案系統實戰 raid卡 實現了raid功能的板卡 scsi卡或者ide擴充套件卡 軟體raid 作業系統最底層能感知到實際物理磁碟 硬體raid 作業系統無法感知底層的物理磁碟。raid控制器處理上層寫id的兩種手段 1 writeback模式 上層發過來...