rsync大批量刪除檔案

2021-10-09 07:11:49 字數 666 閱讀 5723

1.一般情況 我們都是用rm 來刪除檔案操作 但是rm刪除檔案比較慢

2.這時候,我們可以使用rsync,通過一種巧妙的替換方式來實現目錄下大量檔案的刪除。

3.如果想清空test目錄下的所有檔案,首先建立乙個空目錄 mkdir temp

然後執行 rsync -a --delete temp/ test/ 然後檢視test目錄下的檔案全沒了

下面介紹一下具體怎麼慚怍

1.首先用yum安裝rsync

yum install rsync

2、建立乙個空的資料夾:

mkdir temp/

3、用rsync刪除目錄:

rsync -a --delete temp/ test/

rsync --delete-before -a -h -v --progress --stats /temp /test

這樣我們要刪除的log目錄就會被清空了,刪除的速度會非常快。rsync實際上用的是替換原理,處理數十萬個檔案也是秒刪。

選項說明:

–delete-before 進行刪除操作

–progress 顯示傳輸過程

-a 歸檔模式,表示以遞迴方式傳輸檔案,並保持所有檔案屬性

-h 保持硬連線的檔案

-v 詳細輸出模式

–stats 給出某些檔案的傳輸狀態

Linux rm刪除大批量檔案

在使用rm刪除大批量檔案時,有可能會遭遇 引數列太長 argument list too long 的問題。如下所示 bash bin rm argument list too long 檢視總共有多少個這類檔案,如下所示,總共有8348個檔案 oracle db server bdump ls l...

linux 大批量刪除任務

一不小心投了巨多工,或者投遞的資源不合理時,想批量殺掉這些任務。kill的方法就不說了,我這裡用qdel的方法。用了這麼一條命令 qstat sed 1,2d awk f sed x n s n b x cat再用qdel刪除即可。這裡還是用了兩步,而且用sed將換行符替換為空格很複雜的樣子,不友好...

大批量刪除 如何解決大批量資料儲存的效能問題

一 背景在行業中所有基於實體的orm框架,均存在同乙個問題 在批量運算元據時,效能表現乏力。因為在批量儲存資料時,可能既包含新增的記錄,又包含更新或刪除的記錄,一般的orm框架必須為每一條記錄生成一條sql語句,然後一條一條的執行,這樣執行的效能非常差,而通常的優化方案是將資料分批儲存,但在資料量特...