儲存IOPS與吞吐量的計算

2021-06-10 09:18:29 字數 2501 閱讀 2271

儲存系統的瓶頸,主要體現在2個方面:吞吐量與iops。

名詞解釋:

吞吐量英文:throughput,即單位時間內讀取或者寫入資料量的大小。

iops

英文全拼:input/output operations per second,即每秒進行讀寫(i/o)操作的次數,多用於資料庫等場合,衡量隨機訪問的效能。

儲存端的iops效能和主機端的io是不同的,iops是指儲存每秒可接受多少次主機發出的訪問,主機的一次io需要多次訪問儲存才可以完成。例如,主機寫入乙個最小的資料塊,也要經過「傳送寫入請求、寫入資料、收到寫入確認」等三個步驟,也就是3個儲存端訪問。

下面對吞吐量與iops分布進行分析。

1、吞吐量(throughput)

吞吐量主要取決於陣列的構架,光纖(fc san)或網路(ip san)通道的大小以及硬碟的個數。陣列的構架與每個陣列不同而不同,他們也都存在內部頻寬(類似於pc的系統匯流排),不過一般情況下,內部頻寬都設計的很充足,不是瓶頸的所在。

光纖通道的影響還是比較大的,如資料倉儲環境中,對資料的流量要求很大,而一塊2gb的光纖卡,所能支撐的最大流量應當是2gb/8(小b)=250mb/s(大b)的實際流量,當4塊光纖卡才能達到1gb/s的實際流量,所以資料倉儲環境可以考慮換4gb的光纖卡。

最後說一下硬碟的限制,這裡是最重要的,當前面的瓶頸不再存在的時候,就要看硬碟的個數了,我下面列一下不同的硬碟所能支撐的流量大小:

10 k rpm 15 k rpm ata

——— ——— ———

10m/s 13m/s 8m/s

那麼,假定一套儲存有120塊15k rpm的光纖硬碟,那麼該儲存可以支撐的最大流量為120*13=1560mb/s,如果是2gb的光纖卡,可能需要6塊才能夠,而4gb的光纖卡,3-4塊就夠了。

2、iops(input/output operations per second)

決定iops的主要取決與陣列的演算法,cache命中率,以及磁碟個數。陣列的演算法因為不同的陣列不同而不同,如我們最近遇到在hds usp上面,可能因為ldev(lun)存在佇列或者資源限制,而單個ldev的iops就上不去,所以,在使用這個儲存之前,有必要了解這個儲存的一些演算法規則與限制。

cache的命中率取決於資料的分布,cache size的大小,資料訪問的規則,以及cache的演算法,如果完整的討論下來,這裡將變得很複雜,可以有一天好討論了。我這裡只強調乙個cache的命中率,如果乙個陣列,讀cache的命中率越高越好,一般表示它可以支援更多的iops,為什麼這麼說呢?這個就與我們下面要討論的硬碟iops有關係了。

硬碟的限制,每個物理硬碟能處理的iops是有限制的,如

10 k rpm 15 k rpm ata

——— ——— ———

100 150 50

同樣,如果乙個陣列有120塊15k rpm的光纖硬碟,那麼,它能撐的最大iops為120*150=18000,這個為硬體限制的理論值,如果超過這個值,硬碟的響應可能會變的非常緩慢而不能正常提供業務。

在raid5與raid10上,讀iops沒有差別,但是,相同的業務寫iops,最終落在磁碟上的iops是有差別的,而我們評估的卻正是磁碟的iops,如果達到了磁碟的限制,效能肯定是上不去了。

那我們假定乙個case,業務的iops是10000,讀cache命中率是30%,讀iops為60%,寫iops為40%,磁碟個數為120,那麼分別計算在raid5與raid10的情況下,每個磁碟的iops為多少。

raid5:

單塊盤的iops = (10000*(1-0.3)*0.6 + 4 * (10000*0.4))/120

= (4200 + 16000)/120

= 168

這裡的10000*(1-0.3)*0.6表示是讀的iops,比例是0.6,除掉cache命中,實際只有4200個iops

而4 * (10000*0.4) 表示寫的iops,因為每乙個寫,在raid5中,實際發生了4個io,所以寫的iops為16000個

為了考慮raid5在寫操作的時候,那2個讀操作也可能發生命中,所以更精確的計算為:

單塊盤的iops = (10000*(1-0.3)*0.6 + 2 * (10000*0.4)*(1-0.3) + 2 * (10000*0.4))/120

= (4200 + 5600 + 8000)/120

= 148

計算出來單個盤的iops為148個,基本達到磁碟極限

raid10

單塊盤的iops = (10000*(1-0.3)*0.6 + 2 * (10000*0.4))/120

= (4200 + 8000)/120

= 102

可以看到,因為raid10對於乙個寫操作,只發生2次io,所以,同樣的壓力,同樣的磁碟,每個盤的iops只有102個,還遠遠低於磁碟的極限iops。

在乙個實際的case中,乙個恢復壓力很大的standby(這裡主要是寫,而且是小io的寫),採用了raid5的方案,發現效能很差,通過分析,每個磁碟的iops在高峰時期,快達到200了,導致響應速度巨慢無比。後來改造成raid10,就避免了這個效能問題,每個磁碟的iops降到100左右。

儲存IOPS與吞吐量的計算

儲存系統的瓶頸,主要體現在2個方面 吞吐量與iops。名詞解釋 吞吐量英文 throughput,即單位時間內讀取或者寫入資料量的大小。iops 英文全拼 input output operations per second,即每秒進行讀寫 i o 操作的次數,多用於資料庫等場合,衡量隨機訪問的效能...

儲存的吞吐量與IOPS

儲存系統的瓶頸,主要體現在2個方面 吞吐量與iops。名詞解釋 吞吐量英文 throughput,即單位時間內讀取或者寫入資料量的大小。iops 英文全拼 input output operations per second,即每秒進行讀寫 i o 操作的次數,多用於資料庫等場合,衡量隨機訪問的效能...

IOPS與吞吐量

機械硬碟的連續讀寫性很好,但隨機讀寫效能很差。這是因為磁頭移動至正確的磁軌上需要時間,隨機讀寫時,磁頭不停的移動,時間都花在了磁頭尋道上,所以效能不高。如下圖 在儲存小檔案 oltp資料庫應用時,隨機讀寫效能 iops 是最重要指標。學習它,有助於我們分析儲存系統的效能互瓶頸。下面我們來認識隨機讀寫...