Supervisor 無法停止及啟動程序

今天由於**變更，需要重啟服務，服務程序使用supervisor管理，

執行指令：supervisorctl restart group-***: 一直沒返回；

檢視所重啟服務組的程序：supervisorctl status group-***: 發現有乙個處於 stopping狀態，其他都是stoped；

查詢程序狀態：ps -ef|grep ***, 發現程序還活著；

cat /proc/'程序pid' status, 發現程序狀態是d，也就是等待磁碟資源（disk），因為等待磁碟資源是處於核心態，所以supervisor傳送的指令程序都無法響應，導致一直處於stopping狀態；

查了一下，網上都說需要重啟機器，不至於吧，想想等待磁碟的話，我把磁碟資源給他不就可以了嗎，可是到底是在等待什麼磁碟呢？

檢視一下程序的服務日誌，停留在了：begin delete gfs image: /data/image/testimg/，也就是服務要刪除機器掛載的磁碟上面的，但是一直在這裡等著，沒有返回，此時基本可以斷定是掛載的磁碟有問題；

檢視磁碟狀態，是正常掛載，而且也可以檢視到。。。

在檢視磁碟資料夾狀態：ls -al，發現只有讀許可權，而**要執行刪除，沒有許可權，所以一直等待；

修改目錄許可權，賦予所有許可權，程序成功停止。

通過此次事故，知道了一下兩個重點知識：

1、服務處理核心態時，是無法響應父程序所發的sigterm/sigint等指令，但是supervisor作為父程序，已經發出了控制訊號量，所以在supervisor中看到的是一直處於stopping狀態；

2、如果程序需要磁碟資源，只需要解決資源問題就可以繼續往下執行，而不至於重啟機器；

3、服務日誌一定要記錄邏輯的進入和結束點，本次排查過程，日誌也起到了關鍵作用。