壓縮演算法的比較

2021-08-21 04:22:55 字數 436 閱讀 9419

以下是google幾年前發布的一組測試資料(資料有些老了,有人近期做過測試的話希望能共享出來):

algorithm

% remaining

encoding

decoding

gzip

13.4%

21 mb/s

118 mb/s

lzo20.5%

135 mb/s

410 mb/s

22.2%

172 mb/s

409 mb/s

注:來自《hbase: the definitive guide》

其中:1)gzip的壓縮率最高,但是其實cpu密集型的,對cpu的消耗比其他演算法要多,壓縮和解壓速度也慢;

2)lzo的壓縮率居中,比gzip要低一些,但是壓縮和解壓速度明顯要比gzip快很多,其中解壓速度快的更多;

xml的壓縮方式的比較

本文涉及到的方式有gzip,xmill,xmlppm 具體方法看例項 這三種方法都是不可查詢壓縮方法。介紹 1.壓縮率 xmlppm xmill gzip 2.壓縮時間 gzipxmill 在使用gzip壓縮之前要對xml文件進行預處理,故xmill 的壓縮時間比gzip稍長 3.解壓時間 xmil...

linux壓縮工具的比較

一 linux壓縮工具概述 首先,我們看一下下面這張 壓縮包副檔名與壓縮工具對應表 大家通過這張表,就知道網上 工具名 壓縮包副檔名 gzip gunzip gz compress uncompress z zip unzip zip bzip2 bunzip2 bz2 lha lzh 接下來,我們...

FOR壓縮演算法

倒排表的壓縮演算法 for rbm 詞項索引的檢索原理 fst 如上圖,假設倒排表中最理想的一行id為1,2,3.100 w個連續數字 圖 若沒有使用for壓縮演算法,則有100w個int型別的數字,1數字 4位元組,則有400w位元組,約佔4m儲存空間。1位元組 8bit,則1int需要32bit...