CDH 集群定期清理指南

2021-08-08 07:21:53 字數 461 閱讀 1339

1、清除hdfs**站

2 、 清空spark任務執行歷史記錄

清掉後再把**站清理一下

3、cloudera manager清理

裝cm的機器:/var/lib 路徑下有如下檔案:

主要清理cloudera-host-monitor 、cloudera-service-monitor

這兩個檔案下子目錄帶ts兩個字母的目錄下都會有partitions,直接清掉就ok

例:subject_ts、ts_subject、ts等帶有ts的目錄

4、yarn快取檔案清理

/yarn/nm 下逐級目錄刪,主要清空filecahe裡的檔案,這部分最站磁碟

5、集群hdfs資料做定期處理

6、集群各元件日誌做定期處理

CDH集群重啟

首先在cdh集群的7180的埠,將cloudera的監控服務和整個集群都停掉,然後切換到命令列中,手動停止cloudera scm agent角色和cloudera scm server角色 cd opt cloudera manager cm 5.10.1 etc init.d cloudera ...

12 4 2 定期清理日誌檔案

隨著時間的推移,系統中日誌檔案的日誌量將越來越大,隨之也會帶來一系列的問題。例如,日誌檔案占用的系統空間越來越多,日誌檔案內容的閱讀越來越困難等。為此,使用者可以手工定期清理日誌檔案中的內容。但是,乙個更好的解決方法是通過編寫指令碼,利用 linux 的定時任務功能自動定期清理日誌檔案。例如,要定期...

OGG mgr定期清理tail 檔案

ggsci ba 14 stop mgr manager process is required by other ggs processes.are you sure you want to stop it y n y sending stop request to manager request...