提高資料儲存效率的七個技巧

2021-08-20 18:12:31 字數 3140 閱讀 7134

it專業人員經常致力於提高儲存效能,以確保應用程式獲得他們執行所需的資源。有的企業採用的是硬碟技術,這意味著其使用成本昂貴,並且效率低下,例如在幾十個(或是數百個)硬碟上分割資料,然後格式化這些驅動器,只有一半的硬碟容量可用於應用程式。
如今,更為經濟的快閃儲存器儲存器在可預見的未來有望打破儲存裝置在應用效能上的瓶頸。為了充分利用快閃儲存器,人們需要以正確的方式和正確的技術來實現它。這樣,就可以從整體的固態儲存部署和儲存網路中提取最高效能和更高的效率。

例如,對於活動資料,快閃儲存器可以提供更好的效能,移動部件比硬碟驅動器少。其結果是,對於主要的資料用例,特別是在長期使用情況下,部署快閃儲存器通常比硬碟更便宜。固態儲存器的問題是只有大約5%到10%的資料中心資料是活動的。因此,使用者可以節省一些費用,並將剩餘的90%或更多儲存在容量更大,成本更低的硬碟上,或者越來越多地儲存在雲中。快閃儲存器不一定會單獨提高資料儲存效率和效能。使用者需要從乙個堅實的基礎開始,以下就是提高資料儲存效率的七個提示,可以讓儲存更快,更有效。

(1)改善儲存網路

基於硬碟的系統的延遲不會暴露網路的弱點,雖然確實如此,但基於快閃儲存器的系統就是這樣,在公升級到快閃儲存器儲存器或向現有系統新增其他ssd硬碟之前,應首先最大限度地提高儲存網路的效能。要考慮的網路有三個元件:伺服器,儲存系統中的主機匯流排介面卡(hba)或網路介面卡(nic),網路交換機和佈線基礎設施。 很容易看到前兩個元件(nic/hba和交換機)的頻寬能力,這應該至少部署10gbps或16gbps光纖通道(fc)或更快的通道。雖然頻寬很重要,但延遲和交付質量更是如此。大多數資料中心不會生成足夠的連續事務來淹沒高速網路。相反,他們產生了數以百萬計小生意。網路將這些事務從伺服器轉移到儲存器,並再次返回,這對於在快閃儲存器投資中提取最大效能至關重要。

(2)資料儲存效率與效能

在儲存領域中,效率和效能是截然相反的力量,因為效率通常以犧牲效能為代價來增加價值。人們用於提高資料儲存效率的許多技術(例如精簡配置,重複資料刪除和壓縮)實際上損害了儲存系統效能。快閃儲存器儲存在效率和效能之間創造了乙個中間地帶。是的,使用這些技術對快閃儲存器的損害效能,就像他們對硬碟驅動器一樣。但是由於快閃儲存器效能如此之高,它通常會提供過多的效能週期。因此,從使用者的角度來看,執行通常的資料儲存效率程式不會顯著影響效能。   佈線也很關鍵,在儲存網路效能和資料儲存效率方面是經常被忽視的因素。使用者應該在光纖上構建佈線基礎設施,以支援當前和下一代網路的高頻寬和低延遲功能,並將其構造為輕鬆確定埠分配。另外,還需要了解「鏈路損耗預算」,這是連線之間丟失的訊號量。 一旦使用者對儲存網路進行了微調,就應該考慮使用快閃儲存器儲存部署。

(3)實現伺服器端快閃儲存器

在伺服器端的快閃儲存器設計中,連線到該網路的網路和儲存設定保持不變,基本上安裝了基於硬碟驅動器的儲存陣列,其中儲存網路的速度和質量並沒有實現共享快閃儲存器陣列時那麼重要。然而,如何利用伺服器端快閃儲存器可能有所不同。   對網路影響最小的設計是隔離伺服器快閃儲存器。在這裡,使用者安裝的ssd或快閃儲存器pcie卡只負責該伺服器的i/o。伺服器本身可能成為單點故障,因此,這個用例僅適用於儲存在共享儲存陣列上的資料的讀取快取。 相比之下,伺服器端快閃儲存器技術將來自多個伺服器的內部快閃儲存器儲存器聚合以建立虛擬快閃儲存器池。這些伺服器端的快閃儲存器聚合產品適用於讀取和寫入快取,甚至適用於儲存層。然而,它們在效能方面引入了網路因素,因為聚合需要網路來建立虛擬儲存池。

(4)部署網路快取

與儲存系統公升級(僅提高單個系統的效能)不同,網路快取可提高網路上每個儲存系統的效能。這些裝置基本上位於儲存系統和伺服器之間,快取那些最活躍的資料。許多網路快取在高可用性配置中可用,使其適合快取讀取和寫入i/o。使用者還可以調整網路快取的大小,使快閃儲存器儲存區域大到足以儲存組織的整個活動資料集,從本質上將現有陣列轉換為存檔和資料保護儲存系統。   網路快取的乙個重要優點是能夠提高儲存效能,而無需替換當前的資料保護策略和過程。這些過程將保持不變,因為資料現在將位於快取記憶體和原始儲存系統上。 這時需要注意,查詢可以在快照或備份作業開始之前以程式設計方式重新整理快取記憶體的網路快取記憶體,這很重要。在部署之前,還應考慮網路基礎架構及其元件的質量。

(5)使用小型快閃儲存器陣列實施軟體定義儲存(sds)

提高儲存效能和資料儲存效率的另乙個選擇是使用軟體定義儲存(sds)。這些產品在裝置或管理程式上執行,並在各種硬體陣列上提供一組通用的儲存軟體功能。一些軟體定義儲存(sds)系統可以利用現有的儲存硬體,以及在它們之間提供資料的自動遷移。如果向現有基礎架構新增小型快閃儲存器陣列,則可以使用sds自動將最活躍的資料集移動到陣列以提高效能,並且作為額外的好處簡化管理,因為所有儲存管理隨後變得統一。

(6)優化應用程式

在實施新的或增強現有儲存系統之前,請仔細檢查要執行的應用程式。許多儲存專業人員發現這會令人生畏,因為他們既不擁有應用程式也不理解其周圍的**。好訊息是,具有一些可用的程式可以檢查應用程式**,提供高質量的分析,並提出改變什麼和在**的具體建議。雖然它可以跳過這一步,但會引出更多的硬體問題。**相關的效能問題可能被高效能儲存遮蔽,但它不會允許快閃儲存器充分發揮其全部潛能,這從而迫使管理員需要尋找其他潛在的效能損失,如儲存網路。在實現快閃儲存器修復**之前,甚至可以避免首先需要快閃儲存器,或降低購買快閃儲存器的需要。

(7)購買新的全快閃儲存器或混合陣列

這對於部署現有基於硬碟的系統(仍具有使用壽命,在原始保修範圍內)的資料中心而言是理想的,因此使用者可以重新部署這些陳舊的機械硬碟系統,並使用新的快閃儲存器陣列進行擴充套件。但是,在某些時候,使用者需要購買一些新的儲存系統。這意味著在全快閃儲存器或混合陣列之間進行選擇。最初的決策相對簡單:如果組織能夠提供滿足其容量要求的全快閃儲存器陣列(可以假設將滿足效能要求),那麼就實施採購,不要猶豫。   然而,許多組織並不會找到適合他們預算的快閃儲存器陣列。他們可以通過選擇混合陣列,將快閃儲存器和hdd組合到同乙個系統中,然後通過軟體在它們之間自動移動資料,從而獲得與沒有這種投資級別的全快閃儲存器陣列大致相同的好處。   人們可能會對混合陣列的快取記憶體缺失更為關注,而這是過去的事情。這是人們的乙個擔心,當快閃儲存器容量如此昂貴,以至於混合陣列的快閃儲存器層佔總儲存容量的5%以下。現在,快閃儲存器層通常是容量的25%,這將會顯著降低快取記憶體錯過的可能性。

綜上所述,提高儲存效能的道路並非始於全快閃儲存器投資。它始於對整個儲存網路的仔細檢查。一旦完成,還要考慮許多其他儲存效能和資料儲存效率增強選項,其中包括某些型別的快閃儲存器儲存部署。哪些產品是選用於資料中心最好的工作方式,一些it部門甚至可能甚至不需要公升級他們的儲存系統。

提高資料儲存效率的七個技巧

如今的實踐證明,儲存網路,伺服器端快閃儲存器,網路快取,軟體定義儲存,全快閃儲存器,以及混合陣列有助於提高儲存效能和效率。it專業人員經常致力於提高儲存效能,以確保應用程式獲得他們執行所需的資源。有的企業採用的是硬碟技術,這意味著其使用成本昂貴,並且效率低下,例如在幾十個 或是數百個 硬碟上分割資料...

七個Git技巧

1.git的自動更正 我們有時都會打錯字,但如果啟用了 git 的自動更正功能,就可以讓 git 自動修正打錯的子命令。假設你想用git status檢查狀態,卻不小心輸入了git stats。正常情況下,git 會告訴你stats不是一條有效的命令 1 git stats 2 git stats ...

七個C 程式設計小技巧

一 最小化視窗 點選 x 或 alt f4 時,最小化視窗,如 protected override void wndproc ref message m base.wndproc ref m 二 如何讓foreach 迴圈執行的更快 foreach是乙個對集合中的元素進行簡單的列舉及處理的現成語句...