linux 加快Linux檔案拷貝速度的兩大方法

2021-08-26 14:57:36 字數 1963 閱讀 3880

第一種方法

首先,無論本地還是遠端,需要移動或拷貝的檔案較多且都不太大時,用cp命令和mv命令效率較低,可以先使用tar工具對將要拷貝/移動的內容進行打包/壓縮,之後再進行拷貝/移動,最後再解包/解壓縮。

另外,也是很關鍵的乙個技巧,即,不必在tar打包/壓縮完畢之後再進行拷貝,解包/解壓縮,可以通過管道一邊打包/壓縮另一邊執行拷貝解包/解壓縮。

比如,tar命令可以和nc命令結合可以快速在兩台機器之間傳輸檔案和目錄:

b機器:

**如下:

《/p》 《p》   nc -l 5555 |tar -c /tmp/test/ -xf -《/p》 《p》

a機器:

**如下:

《/p》 《p》  tar cf - /tmp/test/ |nc b『ip 5555 《/p》 《p》

上述步驟將a機器/tmp/test/下的內容拷貝到b機器對應的目錄中,其中tar cf - /tmp/test/ |nc b』ip 5555 將內容邊打包邊通過管道和nc命令傳輸到由對應ip位址和5555埠傳到b機器,nc -l 5555 |tar -c /tmp/test/ -xf - 監聽本機的555埠,並將接收到的內容解包至指定的目錄(-c引數指定目標目錄)

第二種方法

將tar與scp、ssh命令結合:

在a機打包後,複製到b機器並解包

**如下:

《/p》 《p》  tar -cf - /tmp/test | ssh b『ip 「cd /tmp; tar -xf -」《/p》 《p》

在a機打包,並將打包好的檔案複製到b機

**如下:

《/p》 《p》  tar -cf - /tmp/test | ssh b』ip 「cd /tmp; cat - 》 test.tar」《/p》 《p》  tar -cf - /tmp/test | scp - 《a href=「mailto:b『user@b』ip:/tmp」》b『user@b』ip:/tmp《/a》《/p》 《p》

將a機的打包檔案,複製到b機並解包

**如下:

《/p》 《p》  zcat test.tar | ssh b『ip 「cd /tmp; tar -xf -」《/p》 《p》

也可以直接在本地這麼使用:

**如下:

《/p》 《p》  cd /tmp/test1《/p》 《p》  tar -cf - 。 | (cd /tmp/test2 ; tar -xvpf -)《/p》 《p》

但有人試驗後得出結論本地直接用cp較快

拷貝時除了拷貝單個檔案還會拷貝目錄,有時需要連同檔案/目錄的屬性一同拷貝。可以在cp命令中使用-r引數遞迴拷貝目錄,使用-p引數拷貝檔案保留屬性(預設是:mode,ownership,timestamps也可以通過 --preserve[=attr_list]指定要特別保留的屬性如:context, links,xattr, all),使用-d引數拷貝檔案保留連線。或者簡單的使用-a引數(相當於使用-dr --preserve=all)

如果想看到拷貝大量小檔案的進度可以寫乙個簡單的小指令碼:

**如下:

《/p》 《p》  cd /tmp/test《/p》 《p》  for i in *《/p》 《p》  do《/p》 《p》  cp $i 目標目錄《/p》 《p》  echo $i is ok.。。。《/p》 《p》  done《/p》 《p》

最後補充一條不是技巧的技巧:在使用乙個工具完成一項任務之前,先思考當前用的工具是不是最適合的工具?有沒有更好的工具或辦法?如果工具確實很適用於當前任務,那麼在使用該工具時有沒有特殊的技巧可以提高工作效率?(通常,檢視幫助文件可有意外收穫)。

上面就是加快檔案拷貝速度的方法介紹了,如果你要拷貝的檔案比較多又比較散的話,使用上面介紹的方法能夠加快拷貝速度,不妨試試看吧。

linux和windows雙系統互拷檔案亂碼問題

如果你需要在linux下面用到windows下的檔案,拷貝上去後經常發現中文顯示亂碼。原因是windows中預設的檔案格式是gbk gb2312 而linux一般都是utf 8。比較繁瑣的方法是在windows下用程式把內容轉換為utf 8編碼格式的,但是相當麻煩,而且遇到乙個檔案轉一回。下面介紹一...

linux和windows雙系統互拷檔案亂碼問題

如果你需要在linux 下面用到windows 下的檔案,拷貝上去後經常發現中文顯示亂碼。原因是windows 中預設的檔案格式是gbk gb2312 而linux 一般都是utf 8 比較繁瑣的方法是在windows 下用程式把內容轉換為utf 8 編碼格式的,但是相當麻煩,而且遇到乙個檔案轉一回...

python學習筆記番外 linux檔案拷貝程式

import os import shutil import sys def copydir orignaldir,destdir if not os.path.exists destdir os.mkdir destdir 獲取原目錄下的檔案和目錄,進行複製 orignaldirlist os.l...