雲伺服器大檔案分段傳輸

2022-09-14 15:30:24 字數 516 閱讀 8109

有時會有從遠端伺服器傳大檔案到本地的需要,傳統的 scp 命令雖然保證了資料的安全性,但是速度極慢,這裡採用將大檔案分割成小檔案,分段傳輸的方式,本地只要將小檔案合併成乙個檔案即可

分割命令

使用 split 命令進行分割,假設原始檔案有 1.55g,那麼用下面的命令會將檔案分割成 16 個小檔案,前 15 個檔案大小都是 100m,最後乙個檔案為剩餘大小。命令執行後會自動生成16個檔案,小檔案預設命名方式為xaa、xab、xac、xad...

#

分割命令split,-b引數指定分割後檔案的大小,單位可以是k也可以是m,***為檔名

split -b 100m ***

合併命令

合併後的檔案的字尾最好和之前的大檔案一致,不然可能會出現問題

#

將小檔案合併成乙個檔案,檔名為xx.tar

cat xaa xab xac xad xae > xx.tar

伺服器sendfile傳輸檔案

在apache,nginx,lighttpd等web伺服器當中,都有一項sendfile相關的配置,在一些網上的資料都有談到sendfile會提公升檔案傳輸效能,那sendfile到底是什麼呢?它的原理又是如何呢?在傳統的檔案傳輸裡面 read write方式 在實現上其實是比較複雜的,需要經過多次...

伺服器檔案傳輸

scp r 在本地向伺服器傳輸檔案 從本地上傳檔案到伺服器,終端命令應執行在本機上 scp 本地檔案的路徑 伺服器使用者名稱 伺服器位址 伺服器上存放檔案的路徑 scp scp1.png root 119.23.75.150 home admin scp r 本地資料夾的路徑 伺服器使用者名稱 伺服...

大檔案跨伺服器傳送

2015年9月15日 19 02 47 高效能mysql 裡的內容 場景是將資料從乙個伺服器傳遞到另乙個伺服器中用於mysql資料初始化或恢復 本質的原理是壓縮傳輸 1.使用管道命令,壓縮的時候直接傳輸,不再壓縮到本地,再傳輸到另一台server壓縮 server1 gzip c server1 d...