bzip2 pbzip2壓縮工具比較

2021-07-24 21:47:20 字數 2198 閱讀 2808

[個人github]中會有更多新鮮剛出爐的文章。

linux版本:debian8.5

pbzip2安裝:apt-get install pbzip2

pbzip2詳情請見:pbzip2的安裝與使用

bzip2(單執行緒壓縮工具)

# 壓縮單個檔案測試

# 單個檔案大小

root@wing

:/data

# du -h 2016.sql

3.4g 2016.sql

# tar bzip2 壓縮命令

time tar -jcf 2016.sql.bz2 2016.sql

# 單個檔案壓縮時間

real 10m7.996s

user 10m4.632s

sys 0m13.276s

# 壓縮後檔案大小

root@wing

:/data

# du -sh 2016.sql.bz2

220m 2016.sql.bz2

# 壓縮目錄測試

# 目錄檔案大小

root@wing

:/data

# du -sh 20161122/

6.9g 20161122/

# tar bzip 只能使用乙個核進行壓縮

time tar -jcvf 20161122_bzip.bz2 20161122/*

# 目錄壓縮時間

real 24m30.013s

user 22m51.936s

sys 0m23.872s

# 壓縮後檔案大小

root@wing

:/data

# du -h 20161122.bz2

356m 20161122.bz2

pbzip2(多執行緒壓縮工具)
# 壓縮單個檔案測試

# 單個檔案大小

root@wing

:/data

# du -h 2016.sql

3.4g 2016.sql

# pbzip2壓縮命令

time pbzip2 -p3 -k 2016.sql

# 單個檔案壓縮時間

real 3m22.909s

user 9m55.092s

sys 0m16.284s

# 壓縮後檔案大小

root@wing

:/data

# du -sh 2016.pbzip.bz2

221m 2016.pbzip.bz2

# 壓縮目錄測試

# 目錄檔案大小

root@wing

:/data

# du -sh 20161122/

6.9g 20161122/

# tar bzip pbzip 使用3個核進行壓縮

time tar -c 20161122 | pbzip2 -p3 -c > 20161122.tar.bz2

# 目錄壓縮時間

real 7m31.688s

user 22m5.736s

sys 0m42.520s

# 壓縮後檔案大小

root@wing

:/data

# du -h 20161122.tar.bz2

358m 20161122.tar.bz2

總結:

bzip

pbzip(3個執行緒)

原檔案大小

3.4g

檔案壓縮時間( real)

10m7.996s

檔案壓縮大小

220m

原目錄大小

6.9g

目錄壓縮時間(real)

24m30.013s

目錄壓縮大小

356m

注意:壓縮時間使用real計算,而不使用user+sys計算的原因是,多執行緒下user的時間是每個執行緒時間之和,與我們可以感知到的時間偏差較大,所以選擇real,該伺服器上都是初始化的job,所以real更接近使用者感知的時間。

從上面**可以得出,pbzip2開啟3個執行緒壓縮的前提下,無論是壓縮單個檔案還是壓縮目錄,時間上比單執行緒bzip2壓縮快了接近3倍,而壓縮比也基本相同。

壓縮工具gzip bzip2 xz

使用壓縮工具的好處 使用壓縮檔案,不僅可以節省磁碟空間,而且在傳輸時還能節省網路寬頻。我們通常講的家用寬頻和機房寬頻100m是有區別的 機房寬頻的上行和下行都是100m,所以 昂貴,家用寬頻下行是100m,但是上行往往只有10m 20m 格式 gzip 引數 filename d是解壓縮。例子 查詢...

bzip pbzip2壓縮工具比較

個人github中會有更多新鮮剛出爐的文章。linux版本 debian8.5 pbzip2安裝 apt get install pbzip2 pbzip2詳情請見 pbzip2的安裝與使用 bzip2 單執行緒壓縮工具 壓縮單個檔案測試 單個檔案大小 root wing data du h 201...

linux壓縮命令 bzip2

bzip2命令採用新的壓縮演演算法,壓縮效果比傳統的lz77 lz78壓縮演演算法來得好。若沒有加上任何引數,bzip2壓縮完檔案後會產生.bz2的壓縮檔案,並刪除原始的檔案。眾所周知,壓縮有兩個明顯的好處,一是可以減少儲存空間,二是通過網路傳輸檔案時,可以減少傳輸的時間。其壓縮的檔案字尾為 bz2...