山東省棗莊市台兒莊區雲平台運維故障處理一例

2022-02-18 23:29:06 字數 1845 閱讀 1380

故障現象:

外網訪問頁面顯示不正常,template error!

接到反饋後,遠端到伺服器,執行service nginx restart ,提示磁碟滿,無法繼續。

檢視磁碟占用情況,磁碟/目錄占用100%,磁碟空間滿。

執行

find / -size +100m -exec ls -lh {} \;
查詢100m以上的檔案,發現主要大的是nginx的日誌:

一天的nginx日誌大到30多個g,太離譜了!!!

切割檔案的最後n行到新的檔案中

tail -n 1000  access.log >> 111.log
這樣做,主要是太大的檔案我用vi無法開啟。

檢視最新的日誌:

對比正常的其它伺服器:

也不是404啊!!!!

訪問一下居然可以訪問的到!!!!!!還顯示welcome to nginx!!!!我們是7777的埠啊!!!

檢視一下80埠是什麼東東在使用:

根據pid查檔案位置:

ps 243175

[root@bogon conf]# ps 243175

pid tty      stat   time command

243175 ?        ss     0:00 nginx: master process /usr/local/openresty/nginx/sbin/nginx -c /usr/local/openresty/nginx/conf/nginx.conf

到這裡很顯示了,還是這個配置檔案有問題,裡面配置了兩個埠:7777和80

server 

location ^~ /pingli/

}

這個東東明顯就是垃圾,注釋掉,並手工刪除超大的日誌檔案,世界清靜了~

回頭想想,這是兩個問題:

1、即然配置了7777,為什麼還保留了80,這是明確的錯誤。

2、就算是同時配置了80和7777,那個大量的404錯誤從**來??

很明顯,是10.24.0.6這台機器上來的,這是一台windows主機,是處理程式發過來的請求,它在幹什麼?為什麼不去訪問7777的埠??

補充:1、在訪問時,發現訪問不了,直接while true了,這裡應該是停止或者休息一會。

2、處理程式在訪問全域性變數時居然沒有加上埠!!!!!造成繼續訪問80,這就是幾個錯誤集中在一起,導致了問題出現,血的教訓!!!

總結山東省賽2015

省賽總結 剛開始,暴力破解試題袋,三個人找水題做,我看的h,hms看a,zzh看的c,看出是做過的類似的博弈論,直接敲wa了,查bug沒有,加了個return 0,過了2y,這時再看榜,a題c題已經有許多過掉的,我和hms看a題,看完覺得簡單,就是個結構體排序,直接敲,過一遍樣例就交,結果wa,開始...

19山東省賽 K Happy Equation

當時省賽花了很長時間在這道題上,最後也沒做出來,特別傷心啊啊啊啊賽後仔細研究了一下,怎麼說呢,學到了很多,也認識到了自己的不足,唉 little sub has just received an equation,which is shown below,as his birthday gift.a...

2019山東省賽補題

a題 題解 a題注意看清題目每月三十天每週五天很關鍵,因為每月星期幾是固定的。include define ll long long using namespace std const ll nl 1e5 5 ll a nl ll b nl ll c nl int main else if s tu...