超融合架構的本質是什麼(下) 層次儲存

2021-09-27 04:57:38 字數 2176 閱讀 1585

可閱讀原文。

本篇文章將進一步解釋在超融合架構中,層次儲存為什麼是提公升資料的 i/o 效能的最好選擇。

首先,讓我們追溯到現代計算機體系結構中,解決系統效能瓶頸的關鍵策略:cache。

現代計算機體系結構是基於馮·諾依曼體系結構構建的,馮.諾依曼體系結構將程式指令當做資料對待,程式和資料儲存在相同的儲存介質(記憶體)中,cpu 通過系統匯流排從記憶體中引導程式指令和相應的資料,進行程式的執行。

馮·諾依曼體系結構解決了計算機的可程式設計性問題,但是帶來了乙個缺點,因為程式指令和資料都需要從記憶體中載入,儘管 cpu 的速度很快,卻被系統匯流排和記憶體速度的限制,不能快速的執行。為解決這個問題,cache 的理念被提出,通過在 cpu 和記憶體之間加入更快速的訪問介質(cpu cache),將cpu經常訪問的指令和資料,放置到 cpu cache 中,系統的整體執行速度大幅度提公升。

i/o 效能瓶頸問題轉移到了儲存

如果記憶體的訪問速度相對 cpu 太慢,那麼磁碟的 i/o 訪問速度相對 cpu 來說就是「不能忍」了。下表是不同儲存介質的訪問延時,在虛擬化環境下或雲環境下,由於 i/o 基本都是隨機 i/o,每次訪問都需要近 10ms 的尋道延時,使得 cpu 基本處於「等待資料」的狀態,這使得核心業務系統運轉效率和核心應用的使用者體驗都變得很差,直觀的感受就是業務系統和桌面應用「很卡」。

基於 ssd 構建平衡系統

和前人解決記憶體訪問延時問題的思路類似,現在的主流方法是使用記憶體和 ssd 作為 cache 來解決 i/o 效能瓶頸。儲存系統能夠分析出資料塊的冷熱程度,將經常訪問的資料塊快取到記憶體和 ssd 中,從而加速訪問。

不論是全快閃儲存器儲存,還是混合介質儲存,從某種意義上講都是層次儲存,只不過混合陣列多了一層磁碟介質。

學過計算機體系結構的人都聽說過著名的 amdahl 定律,這裡我們要介紹乙個 amdahl 提出的「不那麼著名」的經驗法則:

在乙個平衡的平行計算環境中,每 1ghz 的計算能力需要 1gbps 的 i/o 速度與之匹配

假設一台伺服器有 2 顆 e5-4669 v3 的 cpu,每顆 cpu 有 18 個核,36 個超執行緒,主頻是 2.1ghz,那麼我們可以計算一下,這樣的一台伺服器需要 151gbps (即~19gbps)的頻寬。在大規模的雲計算(虛擬機器算)環境中,極端情況下,大量的 i/o 併發使得儲存收到的 i/o 都變成隨機 i/o,在這麼乙個併發環境中,假設我們的訪問大部分都是 8kb 的讀寫,根據上面的計算,我們需要為一台伺服器配備近 250 萬的 iops 讀取速度。

在不考慮系統匯流排的情況下,如果我們用 sas/sata 硬碟來提供這個 iops,即使每個 sas/sata 盤可以提供近 250 的 iops(實際數值更小),僅為構建一台平衡的伺服器計算儲存環境,就需要大概 1 萬個 sas/sata 硬碟。在稍大規模的虛擬化環境,想要搭出乙個平衡的系統,用傳統的 sas/sata 硬碟幾乎不可能完成任務。但是如果採用能夠提 10 萬「寫 iops」的 ssd 裝置,25 塊 ssd 就夠了。

層次儲存的優勢

「層次儲存」是相對「全快閃儲存器」而言,是指將容量大但是速度較慢的 hdd 和速度快的 ssd 同時構建在系統中,通過資料的訪問特性,將經常訪問的熱資料放置在 ssd 中,而冷資料放置在 hdd 中。

首先,為構建乙個平衡的虛擬化環境,需要大量的 ssd 裝置來提供足夠的 iops。但是 ssd 也不是完美的。目前的 ssd 擦寫次數有限、**高。層次儲存將熱資料放置在 ssd 層中,而大量的冷資料仍然放置在 sata 硬碟上,熱資料週期性的同步到 hdd 硬碟,既為使用者熱資料提供了高 iops 的保障,也通過 sata 硬碟提供了更大的容量和可靠性。

下圖是對 11 個開發人員桌面負載的 i/o 統計,包含了對 5.1tb 大小的儲存上的 76 億次 io 訪問和 28tb 的資料傳輸。首先值得注意的是,有 3.1tb(62%) 的資料,在一年內從來沒有被訪問過,這意味著這些資料無論是放置在 ssd 上,還是 sata 上,甚至放到 u 盤上拔走,對系統都沒有影響。

資料是有冷熱的,這也是為什麼 smartx 超融合系統的分布式塊儲存可以為使用者提供高價效比的層次儲存方案,卻能夠讓使用者得到類似全快閃儲存器儲存體驗的原因。

smartx:

nutanix:

vsan:

什麼叫超融合基礎架構?

雲計算三大類別 私有雲 公有雲 混合雲 三個層次 iaas paas saas 超融合屬於私有雲中的iaas服務層。一般在企業初次上雲,除了會選擇簡便 高價效比私有雲方案,更熱門的就是超融合了。那麼到底什麼是超融合呢?虛擬化是1.0,超融合是1.5,雲計算是2.0。或者說hci是種一體化的私有雲形態...

超融合架構與傳統IT架構的區別

選擇超融合其實是選擇一種對效率的提公升方式,從某種程度上講,超融合類似於動車組車廂,每個車廂都將儲存 網路 計算融合在一起以保證資料計算儲存傳輸的高效一致性,在擴容 提公升算力等方面只需增加節點 模組即可,這解決了業務發展 業務規模 it維護與規模投資等不確定性帶來的成本風險。從超融合技術產生以來,...

超融合架構與傳統IT架構的區別

1 物理融合及管理融合 超融合架構把伺服器 網路及儲存進行了融合,並且搭載在統一管理平台上進行維護 而傳統架構則是全部分離的。2 儲存架構 超融合採用分布式儲存,傳統架構使用集中式儲存。3 網路 超融合使用萬兆乙太網,而傳統架構多使用光纖交換機。4 可靠性方面 可以看出可靠性方面,超融合架構的優勢非...