Linux 快速刪除大量小檔案方法

2021-08-19 08:16:26 字數 726 閱讀 8452

如果某個掛載點上有大量小檔案存在,會占用較多的inodes資源

一但inodes資源耗盡,即便是該掛載裝置還有空閒空間,也是無法存入新的檔案的

查詢inodes資源使用較高的掛載點:

df -i |head -1;df -i|grep -v '^filesystem'|awk -f' *|%'

''# 查詢inodes資源使用超過10%的掛載點

找到這些掛載點之後,需要根據掛載點目錄的用途尋找出存在大量小檔案,且可以刪除的目錄

目前沒有發現比較好的命令定位目錄,需要手動去定位

一般進入某個目錄後,ls命令掛死,基本上就代表該目錄存在大量檔案

然後定位該目錄下的檔案是否可刪,如果不可刪除,這種情況本博文不做論述,需要具體情況具體分析

如果可刪除,則:

mkdir /tmp/null

rsync --delete-before -d /tmp/null/

/path/

# 使用 rsync的 --delete-before 引數刪除

# 這個過程是遞進的,刪除的檔案速度會越來越快

for i in `seq 1

10000

`;do df -i /path/|grep -v '^filesystem';sleep 1;done

# 簡單監控一下進度

[toc]

linux快速刪除大量小檔案

在linux下面刪除大量資料夾的情況,如 需要刪除100萬個檔案或者資料夾。這個時候,我們本來的刪除命令rm rf 就不好使了,因為要等待的太久。所以必須要採取一些非常手段。我們可以使用rsync來實現快速 刪除大量檔案。方法如下 1.安裝rsync yum y install rsync 2.建立...

linux快速刪除大量小檔案

linux 快速刪除大量小檔案方法 當我們在linux系統中要刪除數萬或者數十萬甚至數百萬的檔案時使用rm rf 就不太好用,因為要等待很長一段時間。在這種情況之下我們可以使用linux系統命令rsync來巧妙的處理。rsync實際上用的是替換原理,處理數十萬個檔案也是秒刪。1.rsync安裝,有些...

快速刪除大量小檔案

由於bash會展開例如 rm aa 這樣的命令 如果後面的檔案太多就會報引數太長,所以有時候刪除大量小檔案就不適合用rm了 可以使用find先查詢在刪除 就不會出現上面那種報錯問題,可是還有乙個問題檔案太多的話 exec rm 完全沒有效率,一兩個小時估計也就只能刪除幾十萬的檔案 對於需要刪除百萬為...