LINUX磁碟IO調優指標

2021-10-01 21:05:55 字數 2803 閱讀 9883

磁碟 i/o 效能監控的主要指標介紹如下:

指標 1:每秒 i/o 數(iops 或 tps)

對於磁碟來說,一次磁碟的連續讀或者連續寫稱為一次磁碟 i/o, 磁碟的 iops 就是每秒磁碟連續讀次數和連續寫次數之和。當傳輸小塊不連續資料時,該指標有重要參考意義。

指標 2:吞吐量(throughput)

指硬碟傳輸資料流的速度,傳輸資料為讀出資料和寫入資料的和。其單位一般為 kbps, mb/s 等。當傳輸大塊不連續資料的資料,該指標有重要參考作用。

指標 3:平均 i/o 資料尺寸

平均 i/o 資料尺寸為吞吐量除以 i/o 數目,該指針對揭示磁碟使用模式有重要意義。一般來說,如果平均 i/o 資料尺寸小於 32k,可認為磁碟使用模式以隨機訪問為主;如果平均每次 i/o 資料尺寸大於 32k,可認為磁碟使用模式以順序訪問為主。

指標 4:磁碟活動時間百分比(utilization)

磁碟處於活動時間的百分比,即磁碟利用率,磁碟在資料傳輸和處理命令(如尋道)處於活動狀態。磁碟利用率與資源爭用程度成正比,與效能成反比。也就是說磁碟利用率越高,資源爭用就越嚴重,效能也就越差,響應時間就越長。一般來說,如果磁碟利用率超過 70%,應用程序將花費較長的時間等待 i/o完成,因為絕大多數程序在等待過程中將被阻塞或休眠。

指標 5:服務時間(service time)

指磁碟讀或寫操作執行的時間,包括尋道,旋轉時延,和資料傳輸等時間。其大小一般和磁碟效能有關,cpu/ 記憶體的負荷也會對其有影響,請求過多也會間接導致服務時間的增加。如果該值持續超過 20ms,一般可考慮會對上層應用產生影響。

指標 6:i/o 等待佇列長度(queue length)

指待處理的 i/o 請求的數目,如果 i/o 請求壓力持續超出磁碟處理能力,該值將增加。如果單塊磁碟的佇列長度持續超過 2,一般認為該磁碟存在i/o效能問題。需要注意的是,如果該磁碟為磁碟陣列虛擬的邏輯驅動器,需要再將該值除以組成這個邏輯驅動器的實際物理磁碟數目,以獲得平均單塊硬碟的i/o 等待佇列長度。

指標 7:等待時間(wait time)

指磁碟讀或寫操作等待執行的時間,即在佇列中排隊的時間。如果 i/o 請求持續超出磁碟處理能力,意味著來不及處理的 i/o 請求不得不在佇列中等待較長時間。

通過監控以上指標,並將這些指標數值與歷史資料,經驗資料以及磁碟標稱值對比,必要時結合 cpu、記憶體、交換分割槽的使用狀況,不難發現磁碟 i/o潛在或已經出現的問題。但如果避免和解決這些問題呢?這就需要利用到磁碟 i/o效能優化方面的知識和技術。限於本文主題和篇幅,僅列出一些常用的優化方法供讀者參考:

1.調整資料布局,盡量將 i/o 請求較合理的分配到所有物理磁碟中。

2.對於 raid 磁碟陣列,盡量使應用程式 i/o 等於條帶尺寸或者為條帶尺寸的倍數。並選取合適的 raid 方式,如 raid10,raid5。

3.增大磁碟驅動程式的佇列深度,但不要超過磁碟的處理能力,否則,部分 i/o 請求會因為丟失而重新發出,這將降低效能。

4.應用快取技術減少應用訪問磁碟的次數,快取技術可應用在檔案系統級別或者應用程式級別。

5.由於多數資料庫中已包括經優化後的快取技術,資料庫 i/o 宜直接訪問原始磁碟分割槽(raw partition)或者利用繞過檔案系統快取的 dio 技術(direct io)

目前web的應用大多都以i/o密集型為主,而儲存技術的發展遠沒有計算機中其他系統發展迅速,儘管也有不少高階儲存裝置,但是**的昂貴,不是一般大眾能享受的起的。而基於現狀更多是我們使用一般sas盤結合應用使用不同的raid組合,來實現我們平民化儲存,為了得到更好的效能,那麼和i/o相關的調整優化是必不可少的。

對於我們資料庫調優來說,磁碟io優化是首屈一指的調優重點,我們都知道木桶原理,短板絕對整體的好壞,而資料庫系統中這個短板正是由於我們使用的硬體裝置裡最弱的磁碟所導致。很多時候,我們會發現系統中io累得要死,而cpu卻在那裡空閒等待,主要是由於io執行響應時間太長,處理讀寫的速度遠遠趕落後於cpu的處理速度,這時我們會盡可能的讓操作放到記憶體中進行,由磁碟與cpu的關係,轉變成記憶體與cpu的關係。但是,我們始終不能迴避磁碟io的弱點,優化是必須的。

對於資料庫在日常應用中的特點,大致可以有這麼些思路:

1. 隨機讀寫的負載可以通過增加硬碟的個數實現擴充套件。

2. 對於順序讀寫帶來的壓力,可以通過選擇頻寬相對高一些的磁碟來解決。

3. raid 5和raid 10都是不錯的原則對於資料庫應用來說。

4. 當然,基於自身業務的關鍵程度與成本雙重考慮,fusion-io卡(讀與寫的效能俱佳)和ssd(優秀的隨機讀),都未嘗不是乙個理想的選擇。

5. 在作業系統中,i/o scheduler的排程模式選擇deadline對於資料庫應用是有利的。命令:echo deadline > /sys/block//queue/scheduler

6. 作業系統中nr_requests引數,可以提高系統的吞吐量,似乎越大越好,但是該請求佇列的也不能過大,因為這樣會消耗大量的記憶體空間。該值的調整需要綜合多處因素,比如: 檔案系統、sheduler型別、io的特點。命令: echo *** > /sys/block//queue/nr_requests,nr_requests的大小設定至少是/sys/block//device/queue_depth的兩倍,所以,修改nr_requtests的時候要注意。

7. 系統目錄/sys/block/$disk/queue下還有乙個預讀的引數read_ahead_kb,這個引數增大只會對順序讀的操作有提公升,而資料庫這類應用中多數是隨機讀;通過命令hdparm -t /dev/sda可以測試修改後預讀的效果。

磁碟 I O 效能監控指標和調優方法

在介紹磁碟 i o 監控命令前,我們需要了解磁碟 i o 效能監控的指標,以及每個指標的所揭示的磁碟某方面的效能。磁碟 i o 效能監控的指標主要包括 指標 1 每秒 i o 數 iops 或 tps 對於磁碟來說,一次磁碟的連續讀或者連續寫稱為一次磁碟 i o,磁碟的 iops 就是每秒磁碟連續讀...

整 磁碟 I O 效能監控指標和調優方法

在介紹磁碟 i o 監控命令前,我們需要了解磁碟 i o 效能監控的指標,以及每個指標的所揭示的磁碟某方面的效能。磁碟 i o 效能監控的指標主要包括 指標 1 每秒 i o 數 iops 或 tps 對於磁碟來說,一次磁碟的連續讀或者連續寫稱為一次磁碟 i o,磁碟的 iops 就是每秒磁碟連續讀...

SQL Server 效能調優(io)

目錄 診斷磁碟 io問題 1常見的磁碟問題 1容量替代了效能 1負載隔離配置有問題 2分割槽對齊配置有問題 2總結 2 關於io這一塊,前面的東西如磁碟大小,磁碟頻寬,隨機讀取寫入,順序讀取寫入,raid 選擇,das 和san 比較都不講了。直接就開始講關於 io問題的診斷和一般問題的處理。io這...