linux 快速刪除大量 大檔案

2021-07-13 07:41:41 字數 1193 閱讀 1594

1

、快速刪除大量檔案:

假如你要在linux下刪除大量檔案,比如100萬、1000萬,像/var/spool/clientmqueue/的mail郵件,/usr/local/nginx/proxy_temp的nginx快取等,那麼rm -rf *可能就不好使了。 rsync 可以用來清空目錄或檔案,如下: 1)

先建立乙個空目錄

mkdir/data/blank 2)

用rsync刪除目標目錄

rsync--delete-before -d /data/blank/ /var/spool/clientmqueue/

這樣目標目錄很快就被清空了

注:其中--delete-before 接收者在傳輸之前進行刪除操作 2

、快速刪除大檔案:

假如你有一些特別大的檔案要刪除,比如nohup.out這樣的實時更新的檔案,動輒都是幾十個g上百g的,也可以用rsync來清空大檔案,而且效率比較高。

1)建立空檔案

touch/data/blank.txt 2)

用rsync清空檔案

rsync-a --delete-before --progress --stats /root/blank.txt /root/nohup.out 3、

為什麼rsync能夠快速刪除

大檔案? 1

)rm命令大量呼叫了lstat64和unlink,可以推測刪除每個檔案前都從檔案系統中做過一次lstat操作。過程:正式刪除工作的第一階段,需要通過getdirentries64呼叫,分批讀取目錄(每次大約為4k),在記憶體中建立rm的檔案列表;第二階段,lstat64確定所有檔案的狀態;第三階段,通過unlink執行實際刪除。這三個階段都有比較多的系統呼叫和檔案系統操作。 2

)rsync所做的系統呼叫很少

:沒有針對單個檔案做lstat和unlink操作。命令執行前期,rsync開啟了一片共享記憶體,通過mmap方式載入目錄資訊。只做目錄同步,不需要針對單個檔案做unlink。

另外,在其他人的評測裡,rm的上下文切換比較多,會造成system cpu占用較多——

對於檔案系統的操作,簡單增加併發數並不總能提公升操作速度。 總結

:頻繁做減法不如直接從頭來過

把檔案系統的目錄與書籍的目錄做模擬,rm刪除內容時,將目錄的每乙個條目逐個刪除(unlink),需要迴圈重複操作很多次;rsync刪除內容時,建立好新的空目錄,替換掉老目錄,基本沒開銷。

linux下快速刪除大量檔案

假如你要在linux下刪除大量檔案,比如100萬 1000萬,像 var spool clientmqueue 的mail郵件,像 usr local nginx proxy temp的nginx快取等,那麼rm rf 可能就不好使了。rsync提供了一些跟刪除相關的引數 rsync help gr...

linux快速刪除大量小檔案

在linux下面刪除大量資料夾的情況,如 需要刪除100萬個檔案或者資料夾。這個時候,我們本來的刪除命令rm rf 就不好使了,因為要等待的太久。所以必須要採取一些非常手段。我們可以使用rsync來實現快速 刪除大量檔案。方法如下 1.安裝rsync yum y install rsync 2.建立...

linux下快速刪除大量檔案

假如你要在linux下刪除大量檔案,比如100萬 1000萬,像 var spool clientmqueue 的mail郵件,像 usr local nginx proxy temp的nginx快取等,那麼rm rf 可能就不好使了。rsync提供了一些跟刪除相關的引數 rsync help gr...