磁碟爆滿導致zookeeper卡住

2021-08-17 05:54:12 字數 750 閱讀 5458

場景復現:

線上伺服器磁碟滿了導致部署在上面的namenode zookeeper kafka 均無法工作 丟擲異常,清理kafka備份檔案後系統磁碟還原了100g+,但是此時的zookeeper節點已經無法再加入集群。

3臺 zookeeper節點 出問題的節點在當時是作為leader工作的。

錯誤日誌

丟擲異常後節點掛掉。

再次啟動之後 該節點已經無法加入已經存在的集群中。

經過查詢相關資料

得到的處理方法是清除snapshot快照。

snapshot只是用於加快崩潰後資料恢復的速度而進行的快照,其儲存的資料只是大部分的內容,zookeeper啟動時先用snapshot恢復 之後再根據事務日誌恢復資料,所以如果刪除了快照只是啟動較慢,並不會丟失資料。

最後發現線上version2中並沒有快照檔案,採用滾動重啟後zookeeper正常啟動。

原因見:

--引用

Linux磁碟爆滿 解決辦法

問題描述 阿里雲伺服器告警,磁碟爆滿。於是收到訊息去到根目錄下 df h 檢視,發現磁碟爆滿,100 然後去到根路徑下,du sh 發現這些檔案加一塊也達不到占用的空間大小 解決辦法 用lsof檢查後才發現原因是,有檔案被刪除,而程序還活著,因而造成還占用空間的現象。因此,需要把這些殭屍程序刪除掉,...

滿 磁碟 Linux 離奇磁碟爆滿,如何解決?

作者 一得的跋涉 責編 伍杏玲 出品 csdn部落格 對於 linux 磁碟滿的問題,我們通常的處理思路是用 du 查詢可清理的大檔案,然後臨時刪掉讓磁碟使用率先降下來,從而盡快保證磁碟能繼續寫入。但是,有一些情況的處理效果不太一樣,du df 呈現的結果可能還會讓人迷惑不解。下面,我就分享下幾個工...

centos磁碟爆滿,查詢大檔案並清理

今天發現vps敲入crontab e 居然提示 disk quota exceeded 無法編輯。於是 df h 查了查發現系統磁碟空間使用100 了。最後定位到是 var spool mail root 這個檔案有幾個g。於是清理掉,問題解決。如果不知道是哪些檔案佔了磁碟空間,可以看下面查詢大檔案...