廉價磁碟的可用性和容錯能力

2021-07-30 06:46:53 字數 2267 閱讀 1560

在網際網路和移動網際網路時代,大型**時代都採用廉價伺服器部署服務,因此大型**都必須具有高效能、高可用技術架構,其中包括web層、應用服務層、資料層、儲存層。儲存層我們採用廉價磁碟儲存資料,資料是一家網際網路或移動網際網路公司的核心競爭力,如何保證廉價磁碟的可用性和容錯能力,是我們必須要關注的核心。

今天我們來介紹一下廉價raid(磁碟冗餘陣列技術)。raid技術可以通過硬體實現,也通過軟體實現,在傳統的關係型資料庫及檔案系統中應用廣泛。雖今天nosql技術的出現,但並不能扼殺raid技術的存在,對於大多數大型**,關係型資料庫是必要基礎性資料儲存方式,因此raid技術還是又必要學習的。

常用raid技術有以下幾種:

1.raid 0 假設2個磁碟

資料從記憶體緩衝區寫入磁碟時,根據磁碟數量將資料分成2份,這些資料同時併發寫入2塊磁碟,使得資料整體寫入速度是一塊磁碟的2陪。讀取時也一樣,因此raid0有極快的資料讀寫能力。raid0不做資料備份,2塊磁碟中只要有一塊損壞,資料完整性酒被破壞,所有磁碟的資料都會被破壞。

2.raid 1 假設2塊磁碟

資料在寫入磁碟時,將乙份資料同時寫入兩塊磁碟,這樣任何一塊磁碟損壞都不會丟失資料,插入一塊新磁碟就可以通過複製資料的方式自動修復,提高了磁碟容錯性,正因為這樣的模式資料安全性很高,但是磁碟利用率只有50%。每讀一次磁碟唯讀一塊資料,也就是說資料塊傳速率與單獨磁碟的讀取速率相同。因為raid1的校驗非常完備,因此對系統的處理能力有很大影響,而這樣的實現方法在伺服器負載比較大的時候會大大影響服務效能。

3.raid 10 假設4塊磁碟

結合raid 0 和 raid 1 兩種方案,將所有磁碟平均成兩份,資料同時在兩份磁碟寫入,相當於raid 1,但是在每乙份磁碟裡面的2塊磁碟上,利用raid 0 技術併發寫入多個磁碟,既提高可靠性又提高效能,不過raid 10 的磁碟利用率較低,也只有50%,有一半的磁碟用來寫備份資料。

4.raid 3 假設4塊磁碟

一般情況下,一台伺服器上不會發生同時損壞兩塊磁碟的情況,在只損壞一塊磁碟的情況下,如果能利用其他磁碟的資料恢復損壞磁碟的資料,這樣在保證可靠性和效能的同時又大幅提公升了磁碟的利用率。

在資料寫入磁碟的時候,將資料分成3份,併發寫入3個磁碟,並在第4塊磁碟紀錄校驗資料,任何一塊磁碟損壞(包括校驗磁碟),都可以通過其他3塊磁碟的資料修復。

但是在資料修改較多的場景中,修改任何磁碟資料都會導致第4磁碟重寫校驗資料,頻繁寫入的後果是第4塊磁碟比其他磁碟較容易損壞,需要頻繁更換,因此raid3很少在實戰中使用。

5.raid 5 假設4塊磁碟

相比raid3,raid5被在實戰中更多的使用。

raid5和raid3很相似,但是校驗資料不是寫入第4塊磁碟,而是螺旋式寫入每個磁碟中。這樣校驗資料的修改也被平均到所有磁碟上,避免raid3頻繁寫入一塊磁碟,導致一塊頻繁損壞,頻繁更換。

6.raid 6 假設5塊磁碟

如果資料需要更高的可靠性,在出現同時損壞兩塊磁碟的情況下,運維人員不能及時發現,或者遲遲沒有更換,導致又壞了一塊磁碟,仍然需要修復資料,這時可以採取raid 6方案。

raid 6 和 raid 5類似,raid 6 是在raid 5的基礎設計的,為了進一步加強資料保護,所有資料都只寫入前3塊磁碟,並螺旋式地在兩塊磁碟中寫入校驗資料,使用不同演算法生成,允許兩塊盤故障,並可通過校驗資料計算得到故障盤中的資料。raid 6具有雙重校驗資料,因此運算負擔較大,實現較複雜。通常raid6讀寫效能不如raid5。

在相同磁碟數目下(n塊磁碟)的情況下,各種raid技術的比較如下:

負載均衡和高可用性

負載均衡 就是對負載或流量分攤,不至於把一台機器超載導致服務終斷或不可用,多台機器經常組成乙個集群,來處理所有的併發量或負載等而不是單單的一台機器,相關軟體 haproxy,lvs,nginx,這些軟體提供對集群的管理,是集群的大門.高可用性 乙個集群 負載均衡集群 一般都有乙個公共ip或網域名稱等...

實現軟體的可用性

繼續趕超世界先進水平 常用的可用性戰術總結,通常用於以下幾個方面 1 錯誤檢測 3個戰術 命令 響應。在錯誤發生前阻止,先由本地元件進行低階判斷,再通過遠端高階判斷 心跳。定時傳送資訊或資料給檢測元件 異常。這個就不用再說了 2 錯誤恢復 4個戰術 表決。輸出評判資料,交給表決元件表決,採用 多數規...

Dubbo的高可用性

現象 zookeeper註冊中心宕機,還可以消費dubbo暴露的服務。原因 健壯性 l 監控中心宕掉不影響使用,只是丟失部分取樣資料 l 資料庫宕掉後,註冊中心仍能通過快取提供服務列表查詢,但不能註冊新服務 l 註冊中心對等集群,任意一台宕掉後,將自動切換到另一台 l註冊中心全部宕掉後,服務提供者和...