企業資料備份,需要多少容量和效能滿足?

2022-04-07 20:40:09 字數 2334 閱讀 4904

ict架構師技術交流

分析和交流ict行業最前沿技術,分享雲計算、儲存、伺服器、資料中心、網路、軟體定義和虛擬化等相關知識,旨在知識交流、開放共享和共同進步。

在備份專案中,除了選擇合適的備份軟體,還要考慮儲存、備份伺服器、儲存策略和配置等。關於備份組網、架構和備份軟體我們前面已經討論了,今天我們重點討論備份儲存容量和效能計算。

從備份組網圖中我們可以看出,生產儲存和備份介質儲存的容量、效能都是要在方案設計時計算,當然大部分客戶會分步先建設生產系統,然後在考慮建設災備,但無論如何備份介質儲存的配置,需要結合備份策略、網路和生產儲存需求來匹配。

下面我們假設生產儲存已經建設完成,我們只需考慮備份介質儲存的容量和效能。假設生產儲存需要20tb的資料需要備份(暫時業務型別不考慮,目前大多數備份軟體都針對不同應用提供agnet,所以主流應用都可以支援),考慮一年的備份,備份策略是每份資料保留3個月,每天一增備、每週一全備(3個月內,共有14個全備副本、77個增備副本,如果大家計算出來不是這個值,可能還有些細節你還不了解,可以私聊我),備份介質儲存所要提供的容量一定要保證可以儲存這麼多的資料副本。

容量計算方法

如果按照前端容量計算,在一年的第4個季度需要備份的業務量(資料年增長率按照40%計算)就達到了28t,那這些增量、全量副本就需要按照這個數字來計算容量,計算下來全量的儲存你容量是28*14,增量的儲存容量是77*0.01(0.01是假設的日增量)。

當然為了節約儲存容量,我們可以選擇採用備份軟體或vtl的重刪功能,重刪率也隨著備份業務型別的不同而不同,再次我們假設全量副本重刪比是10:1,增量副本的重刪比是1.5:1(增量資料的重複率相比全量會低很多),由於在備份場景,儲存容量不可能算的很精確,如日增量、年增量、重刪比等都是乙個經驗值,所以為了讓備份介質儲存能滿足真實業務備份對容量的需求,建議考慮冗餘容量,這個隨不是強制,但卻很必要。

按年增量計算相對要準確一些,但是太過繁瑣,本來備份介質容量就不是精確值,所以不太推薦。既然在這裡提到了,我們也花點時間來分析下。

從下圖可以看出,全量副本和增量副本都還是14和77,唯一不一樣的地方就是全備份副本資料量和增量副本資料量的計算方法。在前提假設和需求都不變的情況下,全備份副本每一周備份一次,所以是按7天資料增量為單位的等比數列求和;而增量副本是按日增量計算的等比數列求和,當然在該示例中為了簡便計算把公式簡化了。

效能計算對生產儲存是比較重要的,因為生產儲存所提供的效能必須要滿足業務峰值執行時的要求。備份業務一般是有備份視窗,在這個時間內基本上沒有業務或很少業務在執行,所以基本上是可以滿足業務備份效能需求的。對備份介質儲存來說,主要是考慮備份容量。

效能計算方法

下面示例效能是以iops計算,通過儲存分級來提公升整體儲存效能,這個示例是計算生產儲存容量和效能的,在備份業務中,一般只採用sata或nl_sas盤就可以,沒必要採用ssd磁碟,而且儲存介質存放的都是大檔案高頻寬資料。

但是效能計算無論是iops或是頻寬,在原理是比較類似的。提供儲存配置時,既要滿足效能要求,也要滿足容量要求,儲存配置就等於max(按容量配置、按效能配置)+熱備。

按容量配置時,計算公式是:(單盤容量*磁碟數量-單盤容量*熱備盤數量)*raid利用率,raid利用率和raid級別、成員盤個數相關。以raid5,9個成員盤為例計算,其raid利用率為0.88。

按照效能計算時,考慮的問題就比較多,如在不同io塊大小、順序、隨機比例下,磁碟的單盤效能都是不一樣的。假如按照隨機讀寫計算,一般計算公式為:單盤隨機iops*硬碟數量/(度比例+寫比例*寫懲罰),寫懲罰和raid型別相關,raid10寫懲罰是2,raid5是4,raid6是6。

最終按照max(按容量配置、按效能配置)+熱備公式,取最大值就是滿足需求的配置。但在實際專案實施時,還是要考慮一部分空間冗餘,主要是因為還有些空間無法精確計算,如對硬碟進行格式化後,建立檔案系統,會佔相應空間儲存元資料;儲存系統為了考慮可靠性或防止效能下降也會預留部分空間;增值特性資源池也需要預留空間。

最後,需要跟大家在強調一點,文中採用主存(iops型業務)計算iops的方法來說明效能計算的(當然用在備份介質確實不合適,因為備份主存資料都是以大檔案備份的;當然增量備份並非大檔案,是固定塊大小備份,乙個檔案就變化一點,記憶體怎麼聚合也是這一塊),備份介質都基本都是存放頻寬型業務,但是儲存計算頻寬時方法與iops類似,所以我偷懶了(週末大家都在休息,但我還在分享東西,累啊),這一點在文中有說明,細心的讀者定能發現。

然而真正的效能計算,如頻寬在計算時,我們也不能直接拿iops*塊大小算(因為即使iops一樣,塊大小不同,頻寬也不同);頻寬業務基本都是滿條帶下盤、raid寫懲罰也會大幅度降低,分級也不能簡單相加(還要考慮資料落去不同型別磁碟的佔比等)。但按我所描述的方法計算頻寬是比較保守的較大化配置(效能肯定能滿足需求),效能這塊水比較深,沒有點篇幅很難講清,隨機比,塊大小,業務場景,網路,介面卡,頻寬利用率等必須端到短考慮,本文篇幅有限所以只能粗略講講備份副本,容量和效能方法了。

小企業的資料備份和安全提示

如今,層出不窮的新技術提供了很多創新,但最終使人們的生活依賴於技術。企業必須以各種形式使用技術,例如企業的資料備份。企業需要花費時間才能在對其私有機密資料構成威脅之前進行備份。企業無疑是任何國家經濟發展的核心,美國是企業創造一半工作崗位的國家之一。近30年來,近49 的低預算企業正在增長。那麼,如何...

關於資料庫備份的定義和重要性

所謂備份,就是通過特定的辦法,講資料庫的必要檔案複製到轉儲裝置的過程.其中,轉儲裝置是指用於放置資料庫拷貝的磁帶或磁碟 選擇備份的依據是 丟失資料的代價與確保資料不丟失的代價之比.還有的時候,硬體的備份有時根本就滿足不了現實需要,比如誤刪了乙個表,又想恢復該錶的時候,資料庫備份就變得重要了.orac...

VFEmail 遭毀滅性攻擊,所有資料和備份被刪除

開發四年只會寫業務 分布式高併發都不會還做程式設計師?電子郵件服務商 vfemail 遭毀滅性攻擊,所有資料和備份被攻擊者在幾小時內格式化。據了解,這次攻擊導致 vfemail 包括郵件主機 虛擬機器主機 sql 伺服器集群的整個基礎設施,全部被破壞。攻擊者格式化了能找到的所有伺服器,目前不清楚攻擊...