讓遠端傳輸大檔案變得更快

2021-09-05 06:51:31 字數 406 閱讀 9917

我是在兩台虛擬機器做的測試。

如果用傳統scp遠端拷貝,速度是比較慢的,如圖:

現在採用lz4壓縮傳輸。lz4是乙個非常快的無失真壓縮演算法,壓縮速度在單核300mb/s,可擴充套件支援多核cpu。它還具有乙個非常快速的解碼器,速度單核可達到和超越1gb/s。通常能夠達到多核系統上的ram速度限制。

專案主頁:

安裝(在本地和遠端均安裝lz4壓縮工具)

# wget

# cd lz4-r108/

# make;make install

遠端傳輸

time tar -c aa.img |pv|lz4 -b4|ssh 192.168.17.129 "lz4 -d |tar -xc /root/"
傳輸2g的檔案,速度是119m/s,花費了17秒傳輸完畢。

讓遠端傳輸大檔案變得更快

我是在兩台虛擬機器做的測試。如果用傳統scp遠端拷貝,速度是比較慢的,如圖 現在採用lz4壓縮傳輸。lz4是乙個非常快的無失真壓縮演算法,壓縮速度在單核300mb s,可擴充套件支援多核cpu。它還具有乙個非常快速的解碼器,速度單核可達到和超越1gb s。通常能夠達到多核系統上的ram速度限制。專案...

怎麼遠端傳輸大檔案?

傳統的傳輸方式主要分為 http與ftp。我們常用的郵件傳送就是http的一種,其主要是便捷,簡單。然後很多http 伺服器對鏈結超時 檔案大小等都用種種限制,這主要是因為其最初是為了網頁進行開發設計的一種協議。而ftp是另外一種較為常用的傳輸工具,其優點與http相似,雖然網路頻寬的增加,ftp的...

Linux傳輸大檔案(分割傳輸)

1.分拆為多個檔案的命令 cat workspace 2018.tar.gz split b 1g workspace 2018.tar.gz.命令解釋 拆分成1g的小檔案 workspace 2018.tar.gz.是拆分後檔案的字首,預設分拆後檔名稱為workspace 2018.tar.gz....