Hive Snappy壓縮格式設定與規範

2021-07-02 08:05:49 字數 945 閱讀 2017

在hive中先檢查hive的輸出壓縮是否啟動(預設為false),設定為true:

set hive.exec.compress.output=true;

以下是google幾年前發布的一組測試資料(資料有些老了,有人近期做過測試的話希望能共享出來):

algorithm

% remaining

encoding

decoding

gzip

13.4%

21 mb/s

118 mb/s

lzo20.5%

135 mb/s

410 mb/s

22.2%

172 mb/s

409 mb/s

注:來自《hbase: the definitive guide》

其中:

1)gzip的壓縮率最高,但是其是cpu密集型的,對cpu的消耗比其他演算法要多,壓縮和解壓速度也慢;

2)lzo的壓縮率居中,比gzip要低一些,但是壓縮和解壓速度明顯要比gzip快很多,其中解壓速度快的更多;3

壓縮格式

mapreduce.map.output.compress

true

mapred.map.output.compress.codec

the compress format of mapreducemiddle result.

mapreduce.output.fileoutputformat.compress

true

mapreduce.output.fileoutputformat.compress.codec

the compress format of mapreduceresult.

mapreduce.output.fileoutputformat.compress.type

block

Android EditText輸入格式設定

在開發的過程中,通常會用到edittext,如何讓虛擬鍵盤來適應輸入框中內容的型別,通常我們都會在xml檔案中加入android inputtype android inputtype none android inputtype text android inputtype textcapchar...

Hadoop壓縮格式

hadoop的常用壓縮格式 壓縮格式 可分割演算法 副檔名linux工具 gzip 否deflate gzgzip lzo是 加索引 lzo.lzo lzop否無 bzip2 是bzip2 bz2 bzip2 deflate 否deflate deflate 無zip 是zip zip zip各個壓...

Hive 壓縮格式

常見壓縮格式 壓縮方式 壓縮比壓縮速度 解壓縮速度 是否可分割 gzip 13.4 21 mb s 118 mb s 否bzip2 13.2 2.4mb s 9.5mb s 是lzo 20.5 135 mb s 410 mb s 是22.2 172 mb s 409 mb s 否壓縮格式對應的編 解...