用MAID 2 0降低儲存費用

2021-09-23 04:40:20 字數 1967 閱讀 5414

多年來,許多公司一直在部署大規模

非活動磁碟陣列(massive arrays of idle disks,maid)技術

,以便減少資料儲存能源費用。在不使用時,該技術通過關閉耗電量大的磁碟驅動器,讓它們處於睡眠狀態,從而達到降低能耗的目的。不過,第一代的maid產品(maid 1.0)或者叫 「舊的maid」產品存在兩大缺點:  首先,停止旋轉的驅動器需要幾分鐘的時間才能重新轉動起來,這個時間太長了,讓人無法接受,因而導致效能下降,這是大多數應用程式所無法接受的。其次,提供maid 1.0的大多數廠商在任何乙個特定的時間只支援比例有限的活動磁碟,這個比例通常少至25%。

節能與效能兩不誤

maid 2.0新增了多種模式,以適應不同型別的資料,從而增強了節能功效,而不是像maid 1.0那樣只有開和關兩種方式。比方說,財務文件和醫療檢驗結果等檔案需要儲存好幾年,甚至儲存更長的時間,但這類檔案的資料一般不會變化。x光圖就很典型,這些資料需要加以儲存,但通常根本不需要經常查閱,而且根本不會出現改動。這類內容固定的資料最適合使用maid 2.0不過了。

磁碟驅動器的耗電量佔到了資料儲存裝置總耗電量的80%。雖然maid 1.0和maid 2.0都能減少磁碟驅動器的耗電量,但maid 2.0還有另乙個優點: 保證效能不受影響。而maid 1.0儘管通過關閉旋轉磁碟驅動器的方法能獲得大幅節電的功效,但因為這種做法對應用程式的效能會造成顯著的負面影響,所以在大多數情況下並不實用。maid 2.0技術的目標就是,既為種類盡可能廣泛的應用程式提供節能這個優點,又不影響它們的效能。

maid 2.0產品通過在使用者指定的依賴於應用程式的節能級別下進行操作來實現這個目標。第一級設定是指響應時間最短,但仍有可能實現節能。第一級設定適用於像醫院這些事務繁忙的單位,比如它們需要快速查閱病人的x光片或病歷。第一級設定保證在不活動期間,仍可以節能20%。

許多人錯誤地以為,實行24×7操作的資料中心根本不會出現不活動期間。然而,據加利福尼亞大學聖克魯茲分校的研究人員近日開展的一項資訊訪問調查顯示,所有儲存資料當中多達90%在3個月的時間內一動也沒動。隨時準備供工作人員訪問,並不意味著系統中的所有儲存磁碟都需要全速旋轉。

maid 2.0的**節省模式

儲存裝置不活動15分鐘之後,使用者通常可能會決定讓它處於第一級maid 2.0模式。這時候,讀/寫磁頭會自動停下來。這個步驟對使用者來說是透明的,它減小了空氣阻力,有助於實現約20%的節能功效。它保證響應時間小於1秒,第乙個輸入/輸出請求不會出現用電尖峰現象,隨後的所有輸入/輸出請求都在瞬間得到處理。

第二級maid 2.0常常在磁碟驅動器不活動30分鐘後進入,它可以把驅動器碟片的轉速減少50%。第乙個輸入/輸出請求將在15秒之內得到處理,隨後的輸入/輸出請求將瞬間得到處理。第二級至少可以實現節能40%的功效,一般用於資料偶爾訪問但不是經常訪問的場合,比如已歸檔的文書處理檔案、電子**和演示文件。

第**maid 2.0使驅動器處於輕度睡眠狀態,不過能夠在30秒之內響應第乙個輸入/輸出請求。與其他級別的maid 2.0一樣,隨後的輸入/輸出請求也是瞬間得到處理。許多使用者在驅動器不活動60分鐘後採用第**maid 2.0。這樣一來,至少可以實現節能60%的功效,非常適用於內容固定的資料長期歸檔,比如電子郵件、財務記錄和醫療檢驗結果。

顯然,maid 2.0方法比maid 1.0方法更靈活、更高效。maid 1.0方法讓磁碟驅動器不是全速旋轉就是停止旋轉,節能方面不靈活,而且還影響了應用程式的效能。而maid 2.0不一樣,maid 2.0解決方案在不影響效能的情況下達到的節能效果相當顯著,而更加值得注意的是,許多非maid 2.0儲存系統需要長達60秒至120秒的時間來響應輸入/輸出請求,而且根本沒有任何節能功效。

maid 2.0產品最多可以把這個響應時間縮短75%,而且能夠大幅節省能源和費用,因此,業內人士普遍認為,maid 2.0將是用途最廣泛的節能型資料儲存技術。它並不影響效能、易於部署,還能解決最主要的成本問題——磁碟驅動器的能耗。maid 2.0使用者獲得的節能幅度在20%~60%或更多,而且在許多情況下,還能獲得比沒有節能功效的替代技術更高的效能。

者:樂天/譯

python用tsne降維 tSNE降維

我有兩套資料訓練和測試。這兩個資料集分別有30213和30235個專案,每個專案有66個維度。在 我正在嘗試應用scikit learn的t sne將維數降到2。由於資料集很大,如果我試圖一次性處理整個資料,我會遇到記憶體錯誤,我會嘗試將它們分成塊,然後一次轉換乙個塊,如下所示 tsne manif...

用scikit learn進行LDA降維

性判別分析lda原理總結中,我們對lda降維的原理做了總結,這裡我們就對scikit learn中lda的降維使用做乙個總結。在scikit learn中,lda類是sklearn.discriminant analysis.lineardiscriminantanalysis。那既可以用於分類又可...

用scikit learn進行LDA降維

在scikit learn中,lda類是sklearn.discriminant analysis.lineardiscriminantanalysis。那既可以用於分類又可以用於降維。當然,應用場景最多的還是降維。和pca類似,lda降維基本也不用調參,只需要指定降維到的維數即可。我們這裡對lin...