線上故障排查之應用系統反應變慢

2021-10-01 16:21:01 字數 1677 閱讀 2018

目錄

top命令

vmstat命令

free命令

df命令

iostat命令

ifstat命令

應用系統變慢,可能有多個原因,一般我們用以下幾個命令來排查原因:

整體情況 top

cpu vmstat

記憶體 free

硬碟 df

磁碟io iostat

網路io ifstat

通常我們會先用top命令看一下整機的情況:

通常我們看三個引數值:

在top命令下連續按1,可以顯示具體的cpu列表

top命令有乙個精簡版命令:uptime

我們通常用vmstat檢視cpu和記憶體情況,如下圖:

下面對輸出的每一列做一下簡單介紹:

-procs

-cpu

直接使用vmstat命令,只輸出一行資訊,我們可以用以下命令,來取樣檢視:

vmstat -n 2  10
意思是:每個2秒採集一次,共採集10次

檢視所有cpu核資訊:mpstat -p all 2,每兩秒取樣一次,列印出所有cpu核資訊

檢視每個程序使用cpu的用量分解資訊 pidstat -u -1 -p 程序編號

我們通常用free檢視系統的記憶體,free表示按照位元組顯示,free -g 表示按照gb顯示記憶體,free -m 表示按照mb顯示記憶體。

-經驗值:

檢視記憶體額外資訊:

pidstat -p 程序號 -r 取樣間隔秒數

現在服務基本都是部署在雲上,磁碟容量管夠,但是我們還是要知道怎麼檢視磁碟的使用情況。

df:以位元組的形式顯示用量,剩餘量等資訊。

df  -h:以正常人能看得懂的方式顯示用量,剩餘量等資訊。

大表批量存大批量的資料時,長時間的io會對效能造成很大的影響,通常我們用

iostat -xdk 2 3來檢視磁碟io的情況。2表示時間間隔2秒,3表示取樣次數。

檢視額外資訊,可以使用

pidstat -d 取樣間隔秒數 -p 程序號
來檢視。

網路io有時也是造成效能瓶頸的主要原因,我們可以通過ifstat檢視網路io的情況。

線上故障排查(2019 12 02)

背景介紹 一 背景介紹 二 排查過程 服務列表 服務名稱 介紹ms crf 主應用ms base org 使用者服務 ms hrpaccoint 賬號服務 主應用ms crf專案新增使用者報錯,經過查詢服務日誌是呼叫ms base org使用者服務時候報 系統錯誤 查詢ms base org服務日誌...

一次線上tomcat OOM故障排查

公司的一組tomcat集群最近隔段時間出現oom故障的問題,間隔時間以及發生故障的tomcat也是隨機的,一時定位不到問題 發生oom時 使用 jmap dump file 檔名.dump pid 一直無法dump出堆記憶體,於是給所有tomcat啟動指令碼配置引數,發生oom時匯出堆記憶體快照。x...

系統故障排查

一 1.建立用於儲存mbr備份的新硬碟分割槽,並永久掛載 1 新建乙個目錄 mkdir backmbr 2 掛載 mount dev sdd1 backmbr 永久掛載 vim etc fstab 3 備份mbr扇區資料 dd if dev sda of backmbr mbr.bak bs 512...