Kylin的垃圾清理

2022-05-04 12:54:10 字數 897 閱讀 3824

在kylin執行一段時間之後,有很多資料因為不再使用而變成了垃圾資料,這些資料佔據著大量hdfs、hbase等資源,當積累到一定規模時會對集群效能產生影響。這些垃圾資料主要包括:

為了對這些垃圾資料進行清理,kylin提供了兩個常用的工具。特別注意:資料一經刪除將徹底無法恢復!建議使用前一定要進行元資料備份,並對目標資源刪除之前進行謹慎的核對。

首先,執行檢查,這是安全操作,不會修改任何內容

$kylin_home/bin/metastore.sh

clean

#這樣智慧型列出可以被清理的資源供使用者核對,而不進行實際的刪除操作

2. 在上面的命令中新增「--delete true」引數,這樣就會清理掉無用的資源,切記,在這個命令操作之前,一定要備份kylin元資料

$kylin_home/bin/metastore.sh clean --delete true

kylin在構建cube過程中會在hdfs上生成中間資料。另外,當我們對cube執行purge/drop/merge時,一些hbase的表可能會保留在hbase中,而這些表不再被查詢,儘管kylin會做一些自動的垃圾**,但是它可能不會覆蓋所有方面,所以需要我們能夠沒隔一段時間做一些離線儲存的清理工作。

1.檢查那些資源需要被清理,這個操作不會刪除任何內容

$kylin_home/bin/kylin.sh org.apache.kylin.storage.hbase.util.storagecleanupjob --delete false

2.開始執行清理操作

$kylin_home/bin/kylin.sh org.apache.kylin.storage.hbase.util.storagecleanupjob --delete true

Ubuntu 清理垃圾

1 軟體快取清理命令 sudo apt get autoclean 清理舊版本的軟體快取 sudo apt get clean 清理所有軟體快取 sudo apt get autoremove 刪除系統不再使用的孤立軟體 這三個命令主要清理公升級快取以及無用包的。2 清理linux下孤立的包 圖形介...

mysql event 清理垃圾資料

1.查詢是否開啟事件排程 show variables like event scheduler 2.開啟事件排程 臨時 set global event scheduler 1 永久 vim etc my.cnf event scheduler on 3.建立p del count儲存過程。接收傳...

kali清理垃圾記錄

sudo apt get autoclean 清理舊版本的軟體快取 sudo apt get clean 清理所有軟體快取 sudo apt get autoremove 刪除系統不再使用的孤立軟體使用 磁碟使用情況分析器檢視,發現 var log 占用空間比較大,特別是user.log 直接手動刪...