hive庫的儲存與壓縮

儲存格式

儲存方式

textfile

預設儲存格式，行儲存

orcfile

按照行分塊，塊按照列儲存，每個塊都儲存有乙個索引，資料壓縮率非常高

parquet

行式儲存，很好的壓縮效能，可以減少大量的表掃瞄和反序列化的時間

create table student_orcfile_zlib (id string, name string)

row format delimited
fields terminated by ','
lines terminated by '\n'
stored as orcfile tblproperties ("orc.compress"="zlib");

hive支援的檔案格式與壓縮演算法

Hive的壓縮和儲存

資料儲存格式 hive和hadoop一樣，也可以使用壓縮來節省我們的mr處理的網路頻寬。其中壓縮格式和效能，也和hadoop類似。開啟map輸出階段壓縮 開啟reduce輸出階段壓縮 當hive將輸出寫入到表中時，輸出內容同樣可以進行壓縮。屬性hive.exec.compress.output控制著...

Hive之壓縮儲存

壓縮儲存有時候可以獲得更好的效能。使用textfile儲存時，可以使用gzip或者bzip2進行壓縮。操作如下 create table raw line string row format delimited fieldsterminated by t lines terminated by n ...

Hive壓縮儲存效能測試

textfile格式 create table textfile id int,name string partitioned by date string row format delimited fields terminated by lines terminated by n parquet...