Facebook開源新的壓縮演算法,效能超zlib

2021-09-17 18:15:48 字數 1126 閱讀 8841

近日,facebook開源了新的壓縮演算法zstandard 1.0。據facebook工程師yann collet和chip turner介紹,該演算法是少數能夠在效能和效率方面超過zlib的壓縮演算法之一,而後者當前是「佔統治地位的標準」。facebook zstandard利用了collet之前所做的工作。collet是lz4的作者,他在2023年發布了其新演算法的第乙個版本。

\\ facebook的基準測試顯示,在任意壓縮率和壓縮頻寬組合下,zstandard的效能都要高於zlib。

\\ 特別地,當使用標準無失真壓縮語料庫silesia時,相比zlib,zstandard展示了出色的效能:\\

zstandard使用了有限狀態熵,並以jarek duda在熵編碼非對稱數字系統(ans)方面的工作為基礎。ans的目標是「避免在壓縮速度和壓縮率之間進行取捨」,它既可以用於精確編碼,也可以用於快速編碼,並且支援資料加密。但是,從根本上講,zstandard之所以提供了更好的效能是因為它的多項設計和實現選擇。\\

zstandard是使用c語言編寫的。它既是乙個命令列工具,也是乙個庫。它提供了20多個壓縮級別,讓使用者可以根據具體可用的硬體、待壓縮的資料和待優化的瓶頸進行仔細地調整。facebook建議開始時使用預設級別3。該級別適合大多數情況。然後,可以嘗試9以下的級別,合理地平衡速度和空間,或者使用更高的級別獲得更高的壓縮率,而20以上的級別則適合那些你不關心壓縮速度的情況。

\\ 對於zstandard的未來版本會帶來什麼特性,collet和turner也提供了一些資訊,其中包括支援多執行緒,以及可以提供更快壓縮速度和更高壓縮率的新的壓縮級別。

\\ zstandard是繼蘋果的zlfse和谷歌的brotli之後的又乙個開源壓縮演算法。zlfse和brotli都是開源的,每一種演算法都針對特定的應用場景進行了優化:brotli似乎為實現web資產和android apk的高壓縮率進行了優化,而lzfse的目標是,在壓縮率相同的情況下,提供比zlib更快的壓縮速度和更低的電量消耗。

\\檢視英文原文:facebook open-sources new compression algorithm outperforming zlib

Facebook開源新的壓縮演算法,效能超zlib

近日,facebook開源了新的壓縮演算法zstandard 1.0。據facebook工程師yann collet和chip turner介紹,該演算法是少數能夠在效能和效率方面超過zlib的壓縮演算法之一,而後者當前是 佔統治地位的標準 facebook zstandard利用了collet之前...

Apple開源新的壓縮演算法LZFSE

蘋果開源了新的無失真壓縮演算法lzfse,該演算法是去年在ios 9和os x 10.10中引入的。按照蘋果公司的說法,lzfe的壓縮增益和zlib level 5相同,但速度要快2 3倍,能源效率也更高。lzfse基於lempel ziv 並使用了有限狀態熵編碼,後者基於jarek duda在非對...

Apple開源新的壓縮演算法LZFSE

蘋果開源了新的無失真壓縮演算法lzfse,該演算法是去年在ios 9和os x 10.10中引入的。按照蘋果公司的說法,lzfe的壓縮增益和zlib level 5相同,但速度要快2 3倍,能源效率也更高。lzfse基於lempel ziv 並使用了有限狀態熵編碼,後者基於jarek duda在非對...